L'édifice originel est supposé en partie détruit et incendié au 16e siècle, pendant les guerres de Religion, par les calvinistes de Montauban. Il subsiste dans la partie basse de l'élévation sud du corps de logis, quelques assises de maçonnerie médiévale. Dans l'aile nord, à son extrémité ouest, plusieurs assises de briques de forte épaisseur ont été observées, associées à une baie au premier étage. Leur typologie pourrait correspondre à une phase médiévale (13e-14e siècle ?), rappelant la baie de la maison occupant la parcelle à l'extrémité sud-est du château et qui lui était peut-être liée (IA82114069). Enfin, un jour à accolade est également conservé dans l'élévation en pierre fermant l'aile nord à son extrémité ouest, dont l'appareil est en pierre et suggère donc une phase de la fin du Moyen Âge (15e-16e siècle ?).
La famille de Malartic, en 1689, prend possession de Montricoux, alors comté. Durant la première moitié du 18e siècle, Pierre-Hippolythe de Malartic qui souhaite résider à Montricoux fait reconstruire une partie du château en y intégrant la tour templière (de la fin du 12e siècle, IA82114072). Le corps de logis présente un remarquable programme décoratif se rattachant à cette campagne de reconstruction du 18e siècle. Toutefois, le portail et le vestibule conservent un certain attachement stylistique aux formes du début du 17e siècle. L'unique date portée, "1770" se situe sur la clef d'une porte charretière de l'aile des communs et correspond vraisemblablement à la date d'achèvement des travaux. Les sculptures en terre cuite qui ornent le vestibule sont attribuées à Jean-Marie-Joseph Ingres (1755-1814), père du célèbre Jean-Auguste -Dominique Ingres. Un accès à la chapelle privative qui se trouve dans l'église Saint-Pierre (IA82114070) est ménagé dans la nouvelle aile sud.
A la lecture du plan de 1810, il apparaît que l'aile nord du logis a été réduite à l'est et à l'ouest, l'aile sud des communs également. Le peintre Marcel Lenoir (1872-1931) a résidé durant les dernières années de sa vie dans le château. En 1979, le château est racheté par le collectionneur d'art Claude Namy (1935-2006) qui consacre, à partir de 1983, une partie de l'édifice en musée dédié aux oeuvres de Marcel Lenoir.
