D'après la forme de ses ouvertures, l'édifice date du 13e siècle. L'ajout d'une tour-escalier demi-hors-oeuvre à la tour date du début du 14e siècle, comme en témoigne la mouluration de la porte. La tour était plus haute à l'origine puisque sa fenêtre la plus élevée a été arasée. Cette modification date probablement de la destruction de la ville survenue en 1473, tout comme les traces d'incendie au dernier niveau. Le sieur d'Albignac, propriétaire en 1557, donne son nom à l'édifice.
Ce dernier est très remanié par la suite : la cheminée du troisème niveau de la tour a été supprimée, de larges ouvertures ont été pratiquées dans les élévations est et ouest afin de faire communiquer l'édifice avec ceux accolés à l'ouest et à l'est. De grandes fenêtres ont été percées dans l'élévation sud au 18e siècle. Une vaste cage d'escalier a été créée au nord du corps de logis et des appartements ont été aménagés au sud. L'édifice accolé à l'est a été détruit au début des années 1970 afin d'offrir du dégagement à la Tour d'Albinhac.
Aujourd'hui, un restaurant occupe la moitié sud du rez-de-chaussée du corps de logis. Malgré ces remaniements, cinq portes d'origine du rez-de-chaussée ont été conservées.
