L'origine médiévale du moulin de Latour, également dénommé dans les textes moulin de Lavacant ou de Labacan, est attestée par les vestiges de murs en moyen appareil régulièrement assisé en façade est. Une inscription tardive (probablement au 20e siècle), portée sur cette même façade, indique qu'il aurait été fondé en 1180. Cette date semble confirmée par les sources. En effet, le cartulaire de Berdoues mentionne un don d'Arnaud d'Esparsac et de ses soeurs Laia et Géraude, à l'abbé Arnaud en 1180 leur terre d'Esparsac, depuis le Sousson jusqu'au Gers. Ils donnèrent en outre l'emplacement pour un moulin, avec tout ce qui était nécessaire à la construction de cette usine. Si l'emplacement n'est pas précisé, il est très probable qu'il s'agisse du moulin de Latour.£Un bail à besogne de 1679 indique que Pierre Trémoulet, recouvreur et paveur, s'engage envers Pierre Delams, entrepreneur des ponts et chaussées à Montauban, à construire une chaussée à Pavie dans les parages du château de Lavacan, ainsi que six arceaux hauts de 4 pans, et d'une couverture égale ; destinée à faciliter l'écoulement des eaux. Il est probable que cette chaussée remplace la chaussée initiale située à un autre emplacement.£Le moulin figure sur la carte de Cassini établie durant la seconde moitié du 18e siècle. En 1786 (d'après le livre terrier), il appartient à Bernardin Manas de Lamezan, chevalier de Saint-Louis et co-seigneur de Pavie. En 1811, il est la propriété de la Veuve Lamezan, qui détient également le château de Lavacant (ou Labacan d'après le registre).£En façade sud, la mise en oeuvre du mur, qui se distingue des parties droite et gauche, ainsi que la porte d'entrée couverte d'un arc segmentaire et les deux fenêtres de l'étage au-dessus couvertes d'un arc monolithe, suggèrent que le bâtiment a été agrandi côté sud durant la première moitié du 19e siècle. Une chaîne d'angle visible en façade nord permet d'observer que cette extension a été suivie d'un nouvel agrandissement du moulin, avant 1864 comme le confirme le dessin d'une élévation de la façade sud.£En novembre 1864, Bernard Saint-Agne, meunier, est autorisé à poursuivre l'exploitation de son moulin. Un nouveau vannage doit être construit dans le prolongement du déversoir, à l'origine du canal de dérivation, près du barrage sur le Gers. Les travaux sont achevés en 1867. Il comprend alors trois paires de meules.£A la fin du 19e siècle, le moulin est détenu en indivision par Louis Saint-Agne, Joseph Saint-Agne (propriétaire du moulin de Belloc), Henri Saint-Agne et Jean Estrade. Ils entreprennent en 1885 la construction d'une écurie (AD Gers, 3 P 1332), qui pourrait corresponde à l'actuelle maison située au sud-est du moulin, comme l'indique une photographie ancienne (les transformations ont lieu durant l'entre-deux-guerres). En façade est du moulin, la porte côté sud, dont le chambranle est mouluré d'un cavet, peut être également datée de la fin du 19e siècle.£La matrice cadastrale de 1911 (AD Gers, 3 P 3416, case 168) indique de nombreuses transformations durant la première moitié du 20e siècle. De plus, selon la tradition orale, le moulin fait l'objet d'une surélévation vers 1920. Vers 1945-1950, Pierre Breuils, meunier, fait édifier le pavillon au sud. Il accueille au rez-de-chaussée la salle syndicale des employés du moulin et un ""salon d'apparat"" à l'étage. Une nouvelle surélévation et extension du moulin (partie nord) intervient durant le 3e quart du 20e siècle.£Des recherches en archives restent à entreprendre.