Un Pierre de Penne, de la juridiction de Montcuq, est mentionné en 1242 (E. Albe, 1910). Le château aurait appartenu à la famille de Saint-Geniez, dont l'un des membres devient chapelain du pape Jean XXII avant d'être nommé patriarche d'Aquilée ; après la guerre de Cent ans, il appartient aux Guiscard : avant 1451, Blaise de Guiscard et de Penne, seigneur de Lasbouigues, a donné à fief à des paysans, les Vialar, son repaire de Penne (J. Lartigaut, 2001) ; en 1467, le sénéchal du Quercy tente d'imposer aux Vialar de s'armer et de fournir des hommes d'armes sous prétexte qu'ils demeurent dans une maison noble (C. Didon, 1996). Pons Guiscard, seigneur des Boigues, dénombre pour Penne en 1504 (L. d'Alauzier, 1984). Penne passera plus tard par alliance aux Tulle, originaire de Corrèze, et le repaire, ruiné, sera abandonné et ses pierres réutilisées à la fin du 18e siècle pour la construction du château voisin de Janès (C. Didon, 1996).£Les ruines conservées sont datables du 13e ou du 14e siècle.