Původně se na tomto místě nacházela řada domů, v nichž žil zámecký personál a někteří řemeslníci. Západním až jihozápadním směrem se nedaleko odtud nacházely též masné krámy. Kdo přišel se stavbou jízdárny na tomto místě poprvé, přesně nevíme. Možná jím byl již Pietro de Colombo, případně jeho nástupci - Francesco Caratti a Carlo Orsolini. Když přišel v roce 1667 do Roudnice nad Labem architekt Antonio della Porta, tak bylo ve všech jeho projektech počítáno s výstavbou této zámecké jízdárny s kočárovnou, i když v tom nejpůvodnějším byla velkolepější než ta, do níž se nakonec pustil. Zároveň s ní měly být postaveny konírny, ale jejich zřízení bylo ve druhém plánu již vymazáno, nejspíše na vrchnostenský pokyn.
Tato stavba z konce 17. století (původní maštale a jízdárna zbourány v roce 1668, k její dostavbě muselo dojít před rokem 1690), která byla původně navržena přímo v zámeckém areálu (ve spodní části levého křídla), ale roku 1672 byla odmítnuta samotným knížetem Václavem Eusebiem Popelem z Lobkovic, je zděná, přízemní budova s valbovou střechou, krytou prejzy, s vikýři, 5 okenními osami na boční straně a se 3 okenními osami v průčelí. Vede do ní portál se segmentovým obloukem a zvláštní římsou střechového tvaru s nepravidelnými cvikly nad obloukem a kartuší uprostřed, v níž se nachází věnec se šípem propíchnutým srdcem (stavitelův znak), z něhož vyrůstá trojice růží. Po steanách portálu se nacházejí penízkovitě tvarované listové ornamenty a volutové hlavice. Prostorný interiér má protáhlý půdorys a je zaklenut valenou klenbou s lunetami.
Po 2. světové válce byl objekt využíván vojenskou správou. Vojákům také patřili poslední koně, jež tu přebývali. V letech 1960-1965 byl prostor přizpůsoben pro galerijní účely. Autorem této modernistické rekonstrukce byl Ing. arch. Pavel Mošťák, který byl v roce 1957 jmenován krajským památkovým architektem a pověřen založením Krajského střediska památkové péče a ochrany přírody. Ten také společně s Milošem Saxlem vyvinul úsilí o zachování unikátní sbírky obrazů, kterou městu věnoval August Švagrovský a do té doby se nacházela ve stísněných i jinak nevyhovujících prostorách roudnické radnice.
Během těchto prací byl proražen nový vstup s dynamicky tvarovanými železnými dveřmi, jenž je osazen kamenným portálem z původního Portova domu, který stával na náměstí (sochař Jiří Bradáček). Interiér budovy byl zase rozdělen na 2 části, kdy ta vstupní začala sloužit jako recepce a výstavní síň zároveň. Aby vnitřní prostor působil klidným dojmem a člověk se mohl nerušeně kochat pouze uměním, byla světla umístěna do okenních parapetů a topení pod podlahu. Zrekonstruovaná zámecká jízdárna coby galerie byla slavnostně otevřena 13. června 1965 za účasti tehdejšího ministra kultury Čestmíra Císaře. Sám objekt byl 26. července 1967 zapsán jako nemovitá kulturní památka.
Galerie moderního umění, která zde dnes sídlí, se může chlubit mnoha hodnotnými díly českých umělců přelomu 19. a 20. století (např. Antonína Slavíčka, Emila Filly, Jana Zrzavého, Václava Špály). Základ kolekce tvoří díla z již výše zmíněné sbírky místního mecenáše Augusta Švagrovského. Více o galerii zde:
http://www.galerieroudnice.cz.