Une douzaine d'ateliers de silex datant au moins du Moustérien et un dolmen au lieu-dit Peyro Lebado témoignent de l'ancienneté de l'occupation humaine du territoire. Au Moyen Age, la communauté du Verdier était associée à celle de Cahuzac. Le Verdier est érigé en communauté indépendante en 1359 à la demande des jurats. Les seigneurs de Cahuzac revendiquaient des droits sur le Verdier mais les consuls ont mené procès contre eux du milieu du 15e siècle au milieu du 18e pour défendre leurs droits. La communauté du Verdier appartenait à la sénéchaussée de Toulouse. La paroisse de Saint-Pierre et Saint-Paul dépendait entièrement du diocèse d'Albi. La première église paroissiale se trouvait au lieu-dit Saint-Paul, à l'ouest du territoire communal. L'église actuelle, dans le village a été construite tardivement, probablement au 16e siècle. La commune du Verdier est créée en l'an X après la Révolution française ; elle reprend le tracé de l'ancienne paroisse. En 1862, la population était de 635 habitants ; elle s'élève actuellement à 238.