Originaire de Tarbes, au cours d'une brillante carrière comme directeur des jardins impériaux de 1819 à 1850, Placide Massey (1777-1853) décide en 1825 d'acquérir des terrains à Tarbes pour la construction d'une demeure privée. Peu à peu, entre 1829 et 1852, il achète aussi 11 ha de terrains supplémentaires afin d'y planter un arboretum. En 1850, Placide Massey fait appel à l'architecte tarbais Jean-Jacques Latour pour lui confier les plans de sa demeure qu'il souhaite à vocation de museum et de laboratoire. Ce premier projet comporte en rez-de-chaussée une grande salle d'étude, un jardin d'hiver accolé à la façade sud sur jardin, et une haute tour pour observer les Pyrénées. La nouvelle demeure est d'ailleurs appelée ""Tour Massey"" par les contemporains. Comme on peut le voir sur un cliché photographique de 1858, cette première réalisation, sur rez-de-chaussée ajouré de grandes arcades cintrées, était de style néoclassique italianisant. La tour s'inspirait des tours communales caractéristiques de Toscane et d'Ombrie. Cette première phase de construction est réalisée par l'entrepreneur Etienne Touya.
Les travaux ne sont pas achevés, en 1853, lors du décès de Massey dont tous les biens sont légués à la Ville de Tarbes. Ils seront poursuivis par le même architecte (J.J. Latour) et par un nouvel entrepreneur Jean-Marie Cantet. Terminée en 1862, cette deuxième campagne de travaux comporte des modifications destinées à augmenter les capacités conservatoires de la demeure. En effet, à la demande d'Achille Jubinal, historien et archéologue, la municipalité de Tarbes (sous le mandat du Vicomte de la Garde, maire) envisage d'affecter l'édifice à un musée de peinture et d'oeuvres d'art. Ainsi, le jardin d'hiver est-il abandonné pour céder la place, sur la façade sud, à une extension qui augmente de plus du double la surface au sol de l'édifice. La tour est rehaussée, son style, modifié, est alors marqué par le courant orientaliste en vogue : l'emprunt à l'architecture mauresque se fait sentir dans les jeux de brique qui animent ses quatre faces, peut-être inspirés par le minaret de la mosquée d'El Caouly du Caire, dont des représentations graphiques circulent à cette période (gravure aquarellée de 1863).
La ferronnerie de la porte d'entrée, côté jardin, a été réalisée par le ferronnier Dulom sur le dessin de Latour. L'enseigne ""MUSEUM"" conserve la mémoire de la destination première de l'édifice.
