Komplex kapucínského kláštera byl založen v roce 1656 z odkazu kutnohorského primase Jiřího Vykročila z Bílenberka, a to přímo za městskými hradbami, jejichž zbytek s velkou nárožní baštou válcového tvaru, zvanou jako "Prachárna", poprvé zmíněnou roku 1435, nikdy plně dokončenou a nevyužitou při obraně města a v letech 1777-1779 přestavěnou na sklad střelného prachu, vidíme na severní straně těchto zahrad. K jeho posvěcení pak došlo 25. července 1665 královéhradeckým biskupem Msgre. Matoušem Ferdinandem Sobkem (Zoubkem) z Bílenberka. Nebýt však podpory císařovny Eleonory, manželky Ferdinanda III. a matky Leopolda I. a dalších dárců, mezi nimiž byla i chrudimská obec (vlastník areálu), tak by k jeho výstavbě nejspíše nedošlo, protože největší otázkou jeho vzniku byly finance, a to přestože bylo měšťany vykázáno místo ke stavbě a k založení zahrady, poskytli potřebný stavební materiál a jeho dopravu.
Jak bylo předem zmíněno, tak již od počátku sloužila jeho část jako zahrady. Jedna byla užitkovou zahradou, další sloužila jako ovocný sad, jiná část byla rajským dvorem a poslední měla být využívána jako řeholnické pohřebiště, ale nakonec bylo rozhodnuto, že zemřelí budou pohřbíváni jako jiní zdejší obyvatelé. Jejich rozsah je vidět jak v I. vojenském mapování z let 1764-1768 a jeho rektifikaci z let 1780-1783 (viz
http://oldmaps.geolab.cz/map_viewer.pl?lang=cs&map_root=1vm&map_region=ce&map_list=c147), tak v indikační skice stabilního katastru z roku 1839 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=CHR075018390). Ve 2. polovině 19. století však prošly velkými změnami, což je zaznamenáno v reambulaci stabilního katastru z roku 1879 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=omc&idrastru=B2_a_4C_997_4).
Později byla jejich výměra postupně redukována novou výstavbou, např. současnou speciální základní školou a praktickou školu. Přesto se zde pěstovala řada významnějších rostlinných druhů a jejich výpěstky byly mnohokrát prezentovány na různých výstavách, např. kvardián kláštera P. Jan Rubringer, jenž zasedal ve výboru spolku pro zvelebení zahradnictví ve Východních Čechách, se roku 1892 zúčastnil místní výstavy zahradnické, semenářské a drobného zvířectva užitečného. Ve 2. polovině 20. století pak péče o ně ustrnula. Teprve snaha o zlepšení životních podmínek v posledních letech, například zřizováním nových parků a rekonstrukcí a zpřístupněním těch stávajících. V rámci projektu Klášterní zahrady z let 2006-2007 pak vznikl nový park, a to také za výrazného přispění evropských fondů. V roce 2008 totiž starosta města Mgr. Jan Čechlovský podepsal společně s náměstkem hejtmana Ing. Romanem Línkem, MBA, který byl i statutárním místopředsedou regionální rady, smlouvu o dotaci z EU na tuto akcí. Na Klášterní zahrady a Zlatou stezku mělo město získat 20 346 663 Kč, aby pokrylo 85 % celkových nákladů. Nakonec šlo o 21 302 814,00 Kč, z toho evropská dotace činila 16 639 255,86 Kč (viz
https://www.dotaceeu.cz/cs/statistiky-a-analyzy/mapa-projektu/projekty-pred-rokem-2014/13-rop-nuts-ii-severovychod/13-2-rozvoj-mestskych-a-venkovskych-oblasti/rekonstrukce-klasternich-zahrad-a-zlate-stezky-v-c).
S tím byl založen i městský turistický okruh „Zlatá stezka“ a z bývalého kláštera se stalo muzeum barokních soch. Obé pak projektoval atelier Projektil architekti - Roman Brychta, Adam Halíř, Ondřej Hofmeister a Petr Lešek. Důležitou součástí zahrad s baštou "Prachárnou", hradební zdí a sochami andělů, se pak stala výtvarná díla od Lenky Klodové. Zahradní a krajinářskou architekturu měli naopak na starosti Ing. Aleš Steiner a Ing. Pavlína Malíková z ateliéru zahradní a krajinářské architektury a05 (viz
http://www.a05.cz/projekty/2319-klasterni-zahrady-chrudim). Rekonstrukční práce klášterních zahrad v parkovou relaxační klidovou zónu s velmi příjemným prostředím pro koncerty, odpočinek a hry dětí pak zrealizovala v letech 2009-2010 firma První stavební Chrudim a. s. Pouze "Prachárna" se dočkala své obdoby o něco dříve, když byla roku 2003 předělána pro expozici opevnění (autor - MECO, realizace - První stavební Chrudim a. s.) Další informace o těchto zahradách lze získat zde:
https://chrudimskenoviny.cz/cat/klicova-slova/klasterni-zahrady.