Le château de Larressingle semble avoir été édifié au cours du 13e siècle pour l'essentiel. C'était un des lieux de résidence des évêques de Condom. Il a été terminé sous l'abbatiat d'Odon de Lomagne, entre 1287 et 1306. Il a par la suite connu plusieurs remaniements avec notamment le percement de fenêtres aux 14e et 15e siècles. Le corps de bâtiment accolé au nord et la tour d'escalier installée au sud, ont été construits sous l'abbatiat de Mgr de Grossoles, entre 1521 et 1545. Ses armes sont sculptées sur l'une des fenêtres. Le château a été classé Monument Historique en 1922. Il est aujourd'hui conservé dans son état de la fin du 18e siècle, sans toiture ni planchers intérieurs.