La construction du château remonte au moins au 14e siècle, comme en attestent les élévations du donjon. Les croisées de style flamboyant, en élévation sud du corps de logis principal, sont datables de la fin du 15e siècle ou du début du 16e siècle. Elles pourraient appartenir à une campagne de travaux conduite par Guillaume de Glandières qui rachète la co-ségneurie en 1502.
Le château est brulé en 1570 puis partiellement reconstruit par Bertrand de Glandières, petit-fils de Guillaume. Les croisées Renaissance surmontées de frontons sont caractéristiques de cette époque. En 1577, le roi promeut Bertrand de Glandières chevalier de l’ordre de Saint-Michel (date figurant sur le cadran solaire de la tour sud-est). Au début du 18e siècle est construit le tambour en élévation sud. Il porte l’inscription suivante : « GLANS LEO CERVUS HON… NOMENA » ; « MLCCXXVII A.V. FECIT ». Selon le Dr de Pontville, les premiers mots font référence aux familles ayant habité Balsac : le gland est l’emblème des Glandières, le lion celui des Faramond et le cerf constituant les armoiries parlantes des Serres.
D’après l’enquête sur la situation du diocèse en 1771, le château appartient à Augustin-Alexandre de Faramond, baron de Jouquevieil, en Albigeois, seigneur de Balsac, Prades, Canet, Lacoste, Le Fraisse, etc. Il est vendu en 1779 à Guillaume Grailhe (ou Graille), négociant à Rodez.
Le château a appartenu à partir de 1920 à Henri Bousquet (1865-1953), fondateur de la radioélectricité en France et président de la Société des Lettres de l’Aveyron.
