Les fouilles archéologiques liées à la création de l'autoroute A20 ont mis au jour, sur la rive droite de l'Aveyron, une agglomération située au bord de la voie romaine reliant Toulouse à Cahors : Cosa. C'est l'un des deux vici ou agglomération secondaire attesté en Tarn-et-Garonne. Ce vicus qui figure dans la Table de Peutinger, fait certainement suite à un site protohistorique. Les vestiges, importants, attestent une forte occupation du 1er avant notre ère au 2e après notre ère ; la densité du mobilier sur plusieurs hectares en fait l'un des sites antiques majeurs de la région. Son occupation va perdurer jusqu'au haut Moyen Age. En effet, au Moyen Age, deux paroisses existent sur l'actuel territoire d'Albias : Sainte-Ruffine (puis Sainte-Rafine) et Saint-Pierre de Mailhols. La première se développe sur une motte à l'emplacement de l'ancien vicus de Cosa. Son église, peut avoir été édifiée à la fin de l'Antiquité, au début du christianisme (F. Hautefeuille 1998). Disparue aujourd'hui, elle existait encore au 17e siècle. La seconde est probablement attestée au 11e siècle. L'église, rattachée à cette paroisse sans agglomération, a disparu après 1300 avec la création de la bastide royale d'Albias. La quasi absence de vestiges sur la rive gauche de l'Aveyron, c'est à dire sur l'ensemble du territoire communal, met en évidence la présence de la forêt Tulmonenc, déjà connue par les textes depuis le 11e siècle. Ce vaste massif forestier occupait donc la majeure partie du territoire d'Albias. Un premier pôle d'habitations composé de quelques maisons autour d'une église a vraisemblablement été créé avant 1258 par le vicomte Bertrand II de Bruniquel. Cette première bastide ou "communauté d'habitants nouvellement créée" sur un territoire défini, s'est développée autour de l'église Saint-Pierre de Mailhols près de l'embouchure de la Lère et de l'Aveyron, sur la rive gauche de l'Aveyron. En 1183, un texte mentionne la localité sous le nom d'Albiac (Cassagne 2003, p.4). Entre 1270-1280, l'autorité royale s'impose, au détriment des Vicomtes de Bruniquel. C'est en 1280 (Hautefeuille 1998, p.48) que la décision de fondation du nouveau village d'Albias est prise par Philippe le Bel. Le nouveau centre de population se fixe alors sur la terrasse face à Cayrac, en bordure de l'axe principal reliant Sainte-Rafine à Bioule, commune voisine. Ce nouvel emplacement sur un site stratégique, gage de prospérité, permettait d'utiliser l'Aveyron comme voie fluviale tout en étant protégé des crues de la rivière. En effet, la première bastide était implantée en zone inondable. Dans la charte de fondation ; datée de 1280, le roi concède à la bastide d'Albias coutumes et libertés. Ce texte comprend 78 articles qui règlementent strictement la vie des nouveaux habitants, assujettis au pouvoir local ; le dernier article décrit les limites de la bastide présentant un plan en damier irrégulier. La fondation d'Albias s'inscrit dans un large mouvement de création de cités nouvelles dans le sud-ouest de la France à la fin du 13e siècle et au début du 14e siècle. Le long épisode de la guerre de Cent Ans obligea l'agglomération à se protéger derrière des fortifications, aujourd'hui disparues (L de Santi 1920). En 1561, une partie de la commune d'Albias se convertit au protestantisme comme les communes voisines (Bioule, Caussade, Léojac, Montauban, Nègrepelisse, Réalville). Ce passage au protestantisme provoque la destruction de symboles catholiques comme les images de l'église de Saint-Rafine. En août 1621, la ville est saccagée et pillée par les troupes royales menées par le Duc de Mayenne. Les destructions engendrées par les guerres de Religion, ne laissent, de nos jours, que des traces ténues des constructions antérieures au 18e siècle. Bien que les éléments de datation soient quasi inexistants en élévation, des vestiges des constructions antérieures subsistent certainement dans les maisons du centre bourg.