Le lieu de la Flèche est présent sur la carte de Cassini et serait occupé dès le Moyen Age. La monographie du village rédigée par Jacques Bouquié en 2004 mentionne la présence de moulins au 15e siècle (acte du 17 juin 1420) : "Mathieu de Cardaillac fait un bail à cens à Jean Laporte pour un moulin et une mouline à La Roque Toyrac moyennant une rente perpétuelle".

La production de fer, nécessitant une mouline, est attestée à Larroque-Toirac dès le 15e siècle. En effet, Lartigaut relate une transaction en 1461 de 6 quintaux de fer pour achat d'étoffes, entre deux paroissiens de Saint-Affre et un marchand de Cahors.

Sur le site, un moulin est encore présent et présente une élévation orientale qui pourrait remonter à la fin du Moyen Age. En effet, la qualité de la maçonnerie assisée en pierre de taille et la porte chanfreinée à arc brisé pourraient être attribuables au 14e ou au 15e siècle.

Le manoir conserve les stigmates de plusieurs phases de construction et de remaniement. L'état principal serait construit au cours du 16e siècle d'après les nombreux éléments moulurés présents sur les élévations. Cependant, il n'est pas impossible que cette construction soit appuyé sur un édifice plus ancien. La cheminée à colonnettes et bases prismatiques du premier étage ainsi que les remplois de bases prismatiques au départ de l'escalier en vis, pourraient remonter au 15e siècle.

Une partie l'élévation nord a été reconstruite (ruptures dans la maçonnerie) mais conserve des baies moulurées indiquant une campagne au cours du 16e ou 17e siècle. L'édifice a ensuite été agrandie au sud, la forme des baies (droites ou segmentaires) suggèrent une phase de travaux au 17e ou 18e siècle. Cette datation est affinée par la date de 1679 inscrite sur l'arc de la souillarde en demi-hors-œuvre. La cheminée de cette pièce serait également du 17e siècle.

D'après les informations recueillies dans les monographies communales et le cadastre, l'ensemble comprenait en 1811 un moulin, deux maisons et une grange appartenant à la famille Galimardet de la Flèche. Cette famille, connue depuis le 17e siècle (Bouquié, p. 227), était également en possession du moulin voisin situé plus au nord.

En 1820, les Galimardet auraient vendu la propriété à Fréjaville, pourtant c'est un certain Victor Larribe qui fait réaliser des travaux d'agrandissement en 1851 d'après le cadastre (parc. 1811 C 193). Quelques années plus tard, l'appartenance à Joseph Fréjaville est attestée. Son nom figure sur les plans du tracé du chemin de Grande Communication n°33, dressé en 1859-1860, y figurent une maison, une grange et deux moulins à eau.