Figurant sur le cadastre de 1826, cet édifice est peut-être bâti à la fin du 18e siècle, ce que suggèrent l'architecture vernaculaire de son élévation postérieure dotée d'un toit en croupe et de galeries encore visibles sur les cartes postales du début du 20e siècle. Il est agrandi en 1870 et en 1873 à l'initiative de Cyprien Larrieu. Sa façade principale témoignant des dispositions de l'urbanisme moderne et de l'influence du néoclassicisme témoignent de sa reconstruction au moins partielle en 1885 alors qu'il appartient (probablement en deux lots) à François Souviron et la famille Larrieu.£Dès l'origine, ce vaste édifice endosse sans doute la fonction de pension pour voyageurs, qu'il occupe toujours en 1882, moment où il est propriété de Cyprien Larrieu fils. Tout comme les maisons Flurin, Managau ou Latapie, la pension Larrieu compte parmi les pensions de voyageurs les plus connues et fréquentées au début du 20e siècle.£L'édifice fait l'objet de remaniements après la Seconde Guerre mondiale, notamment au niveau des galeries refaites en béton avec des garde-corps en fer forgé.