Dříve vypadalo výše jmenované město mnohem jinak. Když se začne hovořit o zdejším zámku, tak si každý představí ten dnešní, ale uvedená stavba zde stojí teprve od let 1781-1783, kdy ji nechal vystavět hrabě František Norbert z Trauttmansdorffu, a to panským stavitelem Josefem Tůmou. V letech 1818-1820 byla přestavěna a současný vzhled získala v roce 1914, kdy byly stavitelem Františkem Sýkorou realizovány plány architekta Aloise Dlabače.
Ale začněme od začátku! Původně sídlila zdejší vrchnost na ostrohu nad městem, kde stával mohutný hrad, z něhož do dnešní doby zůstaly jen zříceniny. Když však sláva hradů přestala končit a žití na nich se zdálo spíše přítěží, rozhodlo se panstvo přestěhovat dolů do města, protože přestavět hrad na zámek by bylo vzhledem k jeho poloze nesmírně složité, stálo by velké finanční náklady a stejně by nepřineslo panstvu většího pohodlí.
Kdy přesně vznikl starý zámek v jihozápadní části dnešního náměstí Komenského, tak to s jistotou úplně nevíme. Podle všeho musel vzniknout v 16. století na místě jiných stavení. O jeho počátcích nejlépe hovoří prof. August Sedláček ve své knize "Hrady, zámky a tvrze království Českého. Díl druhý. Hradecko", v němž nalezneme následující: "Roku 1558 nazývá se jisté stavení v městečku domem svobodným "v nově vystaveným;" r. 1652 uvodí se zámek, vedlé něhož se ještě jeden panský dům připomíná. Béře-li se k vysvětlení těchto dvou vzpomínek to, co si posud Brandýsští vypravují, totiž že se Karel ze Žerotína v jednom domě na rynku (na jižní bstraně) narodil, a v novém zámku že se to nijakým způsobem nestalo, bude výsledek tento: Dům na rynku byl v 16. a 17. věku domem panským a zámek nynější upraven jest teprve v 17. stol. Co na jeho místě dříve bývalo, o tom zprávu dává vikář Chrudimský ve své relací r. 1635. Když přišel toho roku do městečka, aby vyšetřil věci sporné mezi pánem a farářem Choceňským, uzřel pod hradem příbytek dosti prostranný na způsob malého klášteříčka pro kněze bratrské zřízený, skládající se z několika stavení do čtverhranu spojených. U větších vrat byl dům dosti vysoký s krásnými pokoji, vnitř i vně pěknými nápisy a písmy ozdobený, v němž bydlíval před r. 1623 biskup se svou čeledí, ale na ten čas hejtman obyt svůj míval. Něco dále byl jiný dům menší, v němž mládež bratrská vyučována byla. Na třetí straně byl kostelíček dřevěný s malou věží od Karla ze Žerotína po způsobu bratrském v nově postavený; v něm na místě povýšeném stály stolice a před nimi stolek čtyřrohý a sedadla pro obecný lid. Na čtvrté straně byly četné komůrky, v nichž jáhnové zůstávali. Mezi těmito stavbami bylo městiště dosti prostranné, na němž byla kuchyňská zahrádka, kašna a nádržka na ryby. Za staveními těmi byla krásná štěpnice. Až dotud zpráva o konventu bratrském, jejž jinde umístniti nelze, než právě na místě nynějšího zámku. Neb veliké toto prostranství po utlačení víry bratrské i se dvorem Orlíkem, k vyživení kněží vykázaným, zase na vrchnosť spadlo a od ní na nynější zámek přeměněno bylo."
Podle jiných dochovaných pramenů byla zahájena stavba starého zámku po roce 1553 Bohušem Kostkou z Postupic, který byl horlivým příznivcem Jednoty bratrské a zúčastnil se stavovského odboje roku 1547. Díky tomu se musel vzdát svých velkých majetků a brandýské zboží mu bylo přenecháno králem Ferdinandem I. Habsburským jako pouhé manství a svým způsobem jako takové vězení, jež nemohl vlastně opustit. Zde neměl kde sídlit, takže nejprve přebýval přímo na hradě, ale vzhledem k mnoha jiným okolnostem se rozhodl přesídlit do města, aby si zde nechal vystavět a upravit dům, resp. zámek, jenž nebyl zmíněn ještě ve věnném zápisu z roku 1553, v kterém uvedený šlechtic dal protivěnem své manželce Libuši z Lomnice, matce Jana ze Žerotína, 2 000 kop českých grošů na hradě a městečku Brandýse. Z toho nám vyplývá, že stavba starého zámku musela proběhnout v letech 1553-1558. Po smrti Bohuše Kostky z Postupic, k níž došlo někdy na přelomu let 1557 a 1558, zdědila zámek Libuše z Lomnice, která ho 30. července 1559 odkázala Janu ze Žerotína, svému synovi z 1. manželství, čímž se dostalo brandýské zboží do rukou Žerotínů a ti sídlili na starém brandýském zámku, kde se 14. září 1564 narodil právě Karel starší ze Žerotína, jenž po Bílé hoře poskytl na svých panstvích ochranu a azyl řadě příslušníků Jednoty bratrské, v tom i Janu Amosi Komenskému. Kromě toho udělil Brandýským svým listem ze 17. prosince 1617 řadu privilegií. Po jeho smrti 9. října 1636 převzala zámek jeho čtvrtá manželka Kateřina z Valdštejna, ale ta ho nepřežila o mnoho déle, neboť zesnula již 10. února 1638. Panství mělo podle poslední vůle Karla staršího ze Žerotína připadnout Karlu Bruntálskému z Vrbna, ale Marie Zárubová z Hustířan, manželka Čeňka z Lipé, měla u zemřelého pohledávku ve výši 10 300 zlatých rýnských, takže se nakonec dohodla s Bruntálskými z Vrbna a 19. května 1644 převzala Brandýs sama, aby nechala brandýské panství spravovat úředníkem římskokatolického vyznání a 5. dubna 1652 ho prodala Janu Fridrichovi z z Trauttmansdorffu.
Za vlády tohoto rodu podléhal zámek postupné zkáze a jeho dny byly sečteny. Protože tato stavba hrozila svým sesutím, byla v roce 1780 zbourána a později byl starý zámek nahrazen domy čp. 19-21, což vidíme z indikační skici stabilního katastru z roku 1839 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=HRA055018390), kdy bylo stavení čp. 19 ještě roubené a zbylé 2 objekty byly vybudovány již jako kamenné stavby, což se změnilo již krátce poté, protože v reambulaci z roku 1874 vidíme již proměny celé trojice do dnešní podoby (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=omc&idrastru=B2_a_4C_462_3).
Když nastalo národní obrození, tak se zdejší obyvatelé začali opětovně poohlížet po své dávné a slavné historii. Zejména si pak připomínali to, že zde spatřil světlo světa Karel starší ze Žerotína, a tak se rozhodli, že by měli tuto událost připomenout a zmínit se i o tom, že jižní část současného náměstí tvořil starý zámek. Poprvé se tak stalo při národní slavnosti 5. září 1848, kdy byla uvedená trojice domů vyzdobena portrétem Karla staršího ze Žerotína, jenž byl lemován zeleným chvojím. Trvalá vzpomínka na Karla staršího ze Žerotína a na starý zámek však vznikla až mnohem později, a to přičiněním houslisty Františka Ondříčka, ruského státního rady Antonína Dobiáše a mnoha dalších letních hostů.
To se psal rok 1896, kdy se objevila v hlavě prve zmíněného myšlenka zřízení pamětní desky. Již toho dne bylo mezi všemi přítomnými vybráno 5 zlatých a 10 krejcarů, což byl prvopočátek finanční sbírky, jež byla zřízena za tímto účelem. Za zmínku stojí, že k 23. červenci 1897 bylo Sborem pro zřízení a odhalení pamětní desky Karlu staršímu ze Žerotína pod předsednictvím Jana Firlingera přijato od Ludmily Horské 50 zlatých, od Matildy Strengové 30 zlatých, od Josefiny Mildnerové 25 zlatých, od Františka Ondříčka 20 zlatých, od Josefa Fuksy 10 zlatých, od Antonína Dobiáše 10 zlatých a tak bychom mohli ještě dlouze pokračovat. Celkem bylo k tomuto datu sebráno 209 zlatých, k nimž postupně přibyly další, např. velkostatkář Oskar Parish věnoval 20 zlatých, z čehož je vidět, že této akce se účastnili lidé bez ohledu na své vyznání. Zhotovením pamětní desky byl pověřen sochař a kameník Antonín Staude z Pardubic. Slavnost byla předběžně stanovena na srpen nebo září 1897 a pozvánky na ni vyšly dokonce v krajanském tisku v zámoří, aby se informace o ní dostaly mezi široké masy lidu, a tudíž se vybralo i dostatečné množství potřebných peněz.
V předvečer slavnosti, tj. 21. srpna 1897, proběhl na náměstí mezi 19.00 a 20.00 hodinou promenádní koncert litomyšlské kapely pod řízením Františka Hoška. Ve 20.30 hod. došlo k slavnostnímu osvětlení města a od nádraží až k pomníku J. A. Komenského prošel lampionový průvod všech korporací a spolků, který byl doprovázen hudbou a zpěvem a rozešel se pak před radnicí. K zasazení mramorové pamětní desky v jednoduchém a žerotínským erbem ozdobeném pískovcovém rámci s textem "ZDE STÁVAL ZÁMEK, V NĚMŽ SE NARODIL KAREL STARŠÍ Z ŽEROTÍNA 14. ZÁŘÍ 1564. 22. VIII. 1897." pak došlo 22. srpna 1897, a to na prostředním ze trojice stavení, kde měl stávat starý zámek. Předcházel mu ranní budíček, uvítání hostí a v 10.00 hod. seřazení průvodu u nádraží, jenž odtud kráčel na slavnostní místo, kde byl nejprve přednesen "Chorál národa českého" a slavnostní řeč přednesl poslanec říšské rady a statkář v Dolní Rovni František Udržal, jehož známe jako 8. československého předsedu vlády (1929-1932), ale poprvé na sebe výrazně upozornil jako dvojnásobný ministr národní obrany (1921-1925 a 1926-1929). Poté byla zahrána skladba "Kde domov můj?" Ve 13.00 hod. byl pak v hostinci "Milenka" uspořádán slavnostní banket a v 15.00 hod. se uskutečnil koncert litomyšlské kapely u pomníku J. A. Komenského pod Klopoty, mezi čímž vystupovaly po městě pěvecké spolky, aby utužovaly slavnostní atmosféru mezi přítomnými. Jako zajímavost uveďme, že vstupenka na uvedený koncert stála 20 krejcarů a kuvert na banketu vyšel na 1 zlatý a 50 krejcarů.
Zatímco pamětní deska, která byla v centru zájmu zdejší Církve československé, např. při prvním řádném sjezdu okrsku Jednot mládeže československé církve 3.-4. srpna 1935, je na svém místě dosud ve stejné podobě, tak sám dům byl přestavěn, protože původně měl v přízemí dvojici úzkých obdélných oken a vchodové dveře a v patře pak rovnou trojici stejných oken v jednoduchém špaletovém rámování. Je jen dobře, že se odkaz předků nese dále, i když jinak dochází k řadě změn, protože mnohdy přinášejí přestavby domů zánik různých objektů, mezi něž náleží kolikrát i pamětní desky. K tomu lze dodat jediné: "Čest a sláva Brandýsu nad Orlicí a jeho obyvatelům!"