Dans la seconde moitié du 17e siècle, Limoges se peuple de nombreuses communautés issues de la Réforme catholique.Si la Visitation demeure principalement un lieu de réclusion, des mondes très différents y voisinent sans jamais se croiser.
Le 16 mai 1805, l'ancien jardin du couvent, qui fait environ 1 hectare, devient une pépinière départementale. De nombreuses espèces rares y sont plantées et chaque année, le ministère de l'Intérieur décide de l'envoi des graines au département.
Une école d'enseignement mutuel gratuite, créée en 1818, s'installe provisoirement à la Visitation, dans la salle des assemblées électorales et des conseils de recrutement située dans l'aile nord des bâtiments et pouvant contenir environ 200 élèves.
La même année, la bibliothèque communale s'y installe à son tour.
Par ordonnance du roi du 30 mars 1841, l'Ecole préparatoire de médecine et de pharmacie vient s'installer dans les locaux de la Visitation.
Dans la deuxième moitié du 19e siècle, la Visitation se vide peu à peu de ses divers occupants. Le tribunal de 1ère Instance rejoint le nouveau Palais de justice construit en 1848, et la maison d'arrêt quitte le site pour de nouveaux bâtiments exclusivement à usage carcéral en 1855.
L'école d'enseignement mutuel gratuite est rattachée à l'école municipale en 1845. La bibliothèque déménage à son tour. Seule l'école de médecine reste sur place jusqu'en 1912.
3e époque : quand la Visitation devient caserne
Après maintes tractations avec la ville, le Ministère des armées installe, en 1857 à la Visitation, un régiment d'infanterie.
En 1905 Limoges abrite 4 régiments logés dans 8 casernes. La Visitation abrite le 78e régiment d'infanterie qui, lors des grèves et des émeutes, intervient avec le 21e de cavalerie pour disperser les émeutiers, expulser les ouvriers grévistes des usines et protéger les principaux bâtiments et fabriques.
Entre 1918 et 1990, les fonctions essentiellement administratives de la Visitation se stabilisent. S'installent l'état-major du 12e corps d'armée, les services de l'intendance et de l'instruction physique, la 12e section des commis et ouvriers d'administration, et les services de santé et vétérinaires.
Enfin de 1990 à 2001, l'état-major de la 15e division d'infanterie de la 43e division militaire territoriale, sa chefferie médicale, son commandement des transmissions, le service du génie militaire, le commissariat à l'armée de terre et le service d'information-recrutement occupent la caserne.
Une nouvelle page de l'histoire de la Visitation s'ouvre en 2005 avec son acquisition par le Conseil général, afin d'y aménager le futur Hôtel du Département.