Le pigeonnier est en écart de la demeure, il prend la forme d'une tour carrée couverte par un toit en pavillon de tuiles plates. 18 mètres séparent le sol de l'épi de faîtage en zinc, le pigeonnier serait ainsi le plus haut du Tarn.

Construit en moellon de calcaire et de brique, il se développe sur cinq niveaux dont un rez-de-chaussée ajouré par une porte en plein cintre et des fenêtres segmentaires, 3 étages carrés et un niveau de comble.

Des cordons de briques divisent chaque niveau et une corniche à denticules parcourent la partie supérieure du pigeonnier, sous la toiture. Des baies en arc brisé ajourent les étages, les 2e et 3e étages sont munis de fenêtres jumelles.

Une alternance de pierre de taille et de brique constitue les chaînes d'angle tandis que les ouvertures sont intégralement en brique.

Un escalier extérieur en maçonnerie dont on ne distingue plus que des traces au sol, permettait d'accéder aux niveaux supérieurs via une porte au premier étage.