La chapelle d'Agos dépend de la commanderie mère d'Aragnouet (commanderie d'Aure). Elle est construite entre 1170-1190. La chapelle était associée à un hospice servant à héberger les pèlerins. En effet, elle se situe au bord d'un chemin de Saint-Jacques de Compostelle. L'hospice était déjà en ruines au 16e siècle. D'après les archives, le sculpteur Pierre Bacqué, de Bourisp, travailla dans l'église en 1696. La chapelle est signalée dès 1842 comme un des principaux monuments historiques du département. En 1863 la chapelle, alors très délabrée, est classée monument historique sur l'intervention d'Achille Jubinal (1810-1875), député de l'arrondissement de Bagnères-de-Bigorre de 1852 à 1870. Les premiers travaux de restauration sont menés entre 1873 et 1875 sous la direction de l'architecte diocésain Durand (1801-1882). A la suite de malfaçons constatées en 1875, le chantier est confié à un autre architecte, Lafollye, qui termina les travaux en 1878.