Le château d'Ampiac est établi à presque 530 m d'altitude, sur un promontoire dominant un méandre de l'Aveyron. Au sud, le château d'Ampiac permettait d'observer le site de Castan, dont le château, en ruine au 18e siècle, a disparu depuis. Situé à l'ouest du village, le château se compose de deux corps de logis bâtis en moellons de grès ocre et rouge, qui participent, au nord et au sud, d'un mur d'enceinte entourant une parcelle rectangulaire. Du côté est, le portail, couvert d'un arc brisé, donnait accès à la cour, mais était, selon l'inventaire des biens du château réalisé en 1700, précédé d'un ""petit enclos qui est au devant la grande porte du dit château"". Comme dans le texte, ce portail donne accès à la basse-cour. Seule la montée gauche a été conservée. Elle est ornée d'un corps de moulures composé d'un tore entre deux cavets et d'une bande, et pourrait dater du 13e siècle. L'inventaire mentionne plusieurs dépendances aujourd'hui disparues : une grange et des écuries dans l'enclos, une étable à cochon ainsi qu'un four et son fournil dans la cour, occupant, pour certains, les rez-de-chaussée des corps de logis. Le château, à l'origine, comptait un troisième corps de logis, joignant du côté ouest, les deux conservés. Il fut détruit en 1993. L'édifice avait ainsi un plan en U, et était ouvert du côté est, vers le coeur du bourg.

La distribution du château donnée par l'inventaire de 1700, indique de nombreuses pièces dans le logis, et des communs, ainsi qu'une tour de huit étages, qu'il faut comprendre comme huit niveaux correspondant à six ou sept étages selon que l'on y inclue un niveau de sous-sol et un rez-de-chaussée ou seulement un rez-de-chaussée. Très délabrée, alors dépourvue de plancher à ses étages supérieurs, cette tour devait faire partie de l'édifice médiéval. Le corps de logis situé à l'angle nord-est de la parcelle a conservé des élévations très proches de son état d'origine au 13e siècle. Ainsi sur le pignon oriental, si la porte du rez-de-chaussée fut percée au 19e siècle dans un style néoclassique, la fenêtre du second étage, couverte d'un arc en plein-cintre, semble bien en place dans la maçonnerie. Dans l'élévation nord, côté cour plusieurs fenêtres et portes du 13e siècle ont été conservées : une porte à l'encadrement chanfreiné, couverte d'un arc brisé aux claveaux étroits au rez-de-chaussée, et une autre semblable à l'étage. Le second étage est ouvert par une petite fenêtre couverte d'un arc en plein-cintre, semblable à celle du mur pignon est. Dans le mur pignon ouest, on retrouve uniquement une de ces petites fenêtres. Le rez-de-chaussée du corps de logis sud a conservé une porte aux claveaux étroits et couverte par arc brisé, côté cour, semblable à celles du logis du corps de logis nord. Le culot sud qui recevait les nervures d'une voûte d'ogives est adossé à l'arc de la porte et induit ainsi la postériorité de la voûte d'ogives, qui couvrait avec un certain soin une pièce de l'aile ouest. Dans la partie gauche de l'élévation sud, une porte couverte d'un arc brisé et d'un tympan au motif d'accolade donnait accès au premier étage. La porte est surmontée d'une fenêtre à demi-croisée aux bases prismatiques. Les autres fenêtres de cette élévation sont toutes à arêtes vives et semblent dater de la période contemporaine. Sur le pignon ouest, au niveau du premier étage, on devine les vestiges d'une fenêtre à croisée. La maçonnerie autour a été remontée. La porte du rez-de-chaussée et la fenêtre du second étage ont été percées à l'époque contemporaine. La façade sud a été davantage remaniée, et témoigne d'une campagne de travaux qui montre un détachement du logis sud de l'ancien château, au milieu du 16e siècle. L'élévation sud bénéficie alors seule d'une mise au goût du jour. Elle est flanquée de tourelles sur culs de lampes ornées de larges tores à profils segmentaires et de bandes. Au centre de la façade, quelques pierres ornées des mêmes moulures que celles des culs de lampes latéraux témoignent d'une autre construction en surplomb de même type. Seule une fenêtre à croisée a été conservée sans ses meneau et croisillon. Elle est encadrée par deux grandes fenêtres couvertes d'arcs segmentaires. Les autres fenêtres, aux encadrements à arêtes vives, témoignent du remaniement des élévations à l'époque contemporaine. Les deux corps de logis sont couverts de toits brisés. A l'angle occidental du logis sud, les corbeaux en surplomb sur le pignon occidental témoignent d'anciens niveaux supérieurs en encorbellement, peut-être ceux de la tour à ""huit étages"" disparue.