Cet ensemble de minéraux a été constitué par Philippe Picot de Lapeyrouse (1744-1818) dans le quatrième quart du 19e siècle et le premier quart du XIXe. La collection est composée de récoltes effectuées par le naturaliste ainsi que de minéraux envoyés par son réseau de collecteurs en Europe.

En 1812, Jean de Charpentier (1786-1855), minéralogiste allemand, disciple de Lapeyrouse, est chargé d'inventorier la collection et de rédiger les étiquettes d'identification, en utilisant des cartes à jouer. Un spécimen (ou un ensemble) est lié à une carte. Les minéraux sont triés en suivant la méthode du minéralogiste Abraham Gottlob Werner (1749-1817). L'ensemble présente l'ensemble des minéraux de la classe "Terres et Pierres". Les échantillons sont ensuite regroupés par genre puis par espèces sans que cela soit explicité dans la mise en forme du catalogue qui accompagne la collection. L'existence de deux manuscrits de ce catalogue, visiblement rédigés à deux périodes différentes montre une adaptation de la classification de Werner aux connaissances et courants scientifiques de l'époque.

Après la mort de Philippe Picot de Lapeyrouse, cette collection, est transférée à la Faculté des Sciences de Toulouse par l'intermédiaire de son fils et héritier, Isidore Picot de Lapeyrouse (1776-1833), en juillet 1823. Ce transfert est accompagné d'un catalogue de la collection, donnant le numéro d'inventaire de chaque minéral, sa localisation de découverte ainsi qu'une brève description.

La classe des "Terres et Pierres" contient lors du transfert de propriété, 1364 échantillons, nombre validé par le doyen de la Faculté des Sciences Jean-François Romieu(1767-1838). L'écriture de Jean de Charpentier indiquant le total des échantillons de cette classe a été corrigée, mais il est possible de lire sous "1364", le nombre "1375". Il y a eu entre la rédaction du catalogue et le transfert de la collection 11 échantillons ou doubles d'échantillons qui ont été enlevé des comptes.

La collection passe sous la gestion de plusieurs professeurs de minéralogie et doyens de la Faculté des Sciences, qui mettent à jour le catalogue. Le doyen Jean-François Romieu(1767-1838) et le professeur de minéralogie Félix Dujardin (1801-1860) indiquent que la collection est complète, respectivement en juillet 1823 et juillet 1839. Le professeur de minéralogie Alexandre Leymerie (1801-1878), indique le 8 juillet 1842 que 66 doubles d'échantillons ont été cédés: 37 à l'abbé Chambon, 29 à Henri Traverse dessinateur du Muséum de Toulouse. Il mentionne aussi que 28 échantillons sont manquants. Ayant perdu leur numéro d'identification, ils ont été intégrer dans le reste de la collection de minéralogie.

En 1855, Alexandre Leymerie (1801-1878), professeur de minéralogie, indique dans la revue de l'Académie de Toulouse que la collection Picot de Lapeyrouse a été séparée et intégrée, avec d'autres minéraux, dans 3 nouvelles séries: la collection générale, la collection pyrénéenne et la collection des caractères. Les cartes à jouer ont été séparées des spécimens pour y ajouter de nouvelles étiquettes actualisées avec les progrès de la Science. Raymond Pulou, professeur de minéralogie (1920-2018) relate que les minéraux étaient posés sur des supports carrés en bois vernis noir dont la face antérieure est ornée d'une étiquette individuelle détaillée.£A l'automne 2002, les collections minéralogiques quittent les allées Jules Guesde pour être transférées dans les réserves du Muséum de Toulouse, le temps que l'Université trouve des locaux adaptés. En Septembre 2014, la collection est transférée des réserves du Muséum de Toulouse vers le campus de l'Université Toulouse III - Paul Sabatier. La fin de la décennie 2010 marque une entreprise de réunion des minéraux de la collection Lapeyrouse. A la suite de cette réorganisation, l'ensemble des échantillons de la classe "Terres et Pierres" s'élèvent au nombre de 803.