Chef-d'œuvre de l'architecture rurale traditionnelle, le pigeonnier d'Assier fut construit au 16e siècle (sur le linteau est gravée la date 1537). Atteignant les 11 mètres de haut, il est sans conteste l'un des plus grands monuments de ce type dans le Lot.
L'appellation de colombier, plus aristocratique que celle de pigeonnier, et qui désigne toute construction servant à loger des pigeons, mais généralement imposante, isolée et en forme de tour, peut s'appliquer à l'édifice d'Assier. La tour cylindrique, forme la plus ancienne des pigeonniers, fréquente dans le Lot, et notamment dans le causse de Caylus, était fonctionnelle et pratique pour l'exploitation des nids, pour leur nettoyage et pour prélever les pigeonneaux ou les œufs. Le rez-de-chaussée de ce pigeonnier à étage devait servir de volière, d'étable ou de garde-pile.