La fondation des Carmes déchaussés de Perpignan remonte au 8 avril 1589. De nombreuses difficultés pour trouver un emplacement dans la ville retardent leur installation sur le sommet du Puig, dans le quartier Saint-Jacques, entre 1590 et 1600. Les colonnes utilisées en remploi dans la rue Rabelais sur la façade de la parcelle AD 12 datent de cette période et proviennent probablement de l'ancien cloître. Le plan de la ville dressé par Roussellot en 1691 témoigne des structures intérieures du couvent. L'église orientée s'ouvre à l'ouest sur un espace libre (actuelle place Saint-Joseph) et communique avec le cloître dans sa partie septentrionale. Les bâtiments conventuels se répartissent principalement au nord et à l'est de l'église tandis qu'une grande cour ou jardin longe son flanc méridional. Au 18ème siècle, le couvent connaît une longue période de déclin durant laquelle les bâtiments conventuels se dégradent progressivement. En 1728, le couvent " menace ruines de tout côté ". En 1792, il est réquisitionné et "aménagé" pour loger l'excédent des troupes françaises durant la guerre contre l'Espagne. Le 6 août 1796, un rapport d'Antoine Margouët nous renseigne sur sa situation matérielle désastreuse. En 1799, le couvent, divisé en différents lots, est vendu aux enchères comme Bien National. La même année, le percement de l'actuelle rue Saint-Joseph à l'emplacement de l'ancien couvent achève son démembrement en deux îlots AD 03 et AD 04. En 1829, le département fait l'acquisition "d'un local faisant partie de l'ancien couvent Saint-Joseph" pour y établir un dépôt d'étalons baudets. De nombreuses démolitions et travaux s'effectuent pour la construction de ce dépôt et nous renseignent sur les matériaux du bâti ancien (galets, briquettes, marbre, murs à rebutes et en terre). Dans la seconde moitié du 19e siècle, la clinique Baillat s'installe dans la partie de l'îlot AD 03 correspondant à l'ancien cloître. En 1853, la ville rachète les locaux du dépôt départemental. Les parcelles AD 400, 15 et 16 du cadastre actuel appartiennent toujours à la commune. Des logements occupent toute la partie du couvent se trouvant dans l'îlot AD 03.