Le pigeonnier a été construit en 1662, date gravée sur les claveaux de l'arc d'entrée de l'élévation orientale. D'une construction soignée, l'édifice s'inscrit tout à fait dans le programme général de construction du château et de ses annexes. Le pigeonnier devait être couvert par un toit en pavillon percé d'une lucarne de toit ou d'un lanternon. Les arcades du rez-de-chaussée ont été bouchées pour ménager une petite étable en rez-de-chaussée ou une resserre.
Le pigeonnier n'est plus entretenu depuis longtemps ; la toiture s'est effondrée et le niveau de plancher du second niveau est endommagé.
Chargée d'Inventaire au CAUE du Tarn