Tato místa byla zastavěna již v 15. století, kdy se zde nacházel gotický objekt, z něhož se do dnešní doby zachovala dispozice, sklepy a částečně obvodové zdi 1. patra. O jeho prvních majitelích nemáme žádné znalosti, teprve k roku 1576 víme, že ho ujala po matce Kateřina Rybaříková. V roce 1602 byl jeho držitelem Jan Rybařík. Během třicetileté války byl objekt zpustošen, ale podle všeho nedošlo k jeho vypálení, jako se to stalo jiným domům na náměstí, např. čp. 3 a 6-7, které byly vedeny jako pusté nebo spáleniště. Avšak v roce 1670 došlo k požáru, jemuž se čp. 4 tentokrát nevyhnulo, takže následovně musel být dům obnoven. Roku 1681 ho od Doroty Šturmové koupil Martin Rydl, jenž za něj zaplatil 330 zlatých. V roce 1722 ho ujal malíř Daniel Rydl, který byl zmíněn spolu se svým pomocníkem Jakubem Pelchofrem jako jeden z tvůrců sochy Panny Marie na náměstí, jejíž základní kámen byl položen 9. června 1721 a 8. prosince 1727 byla jaroměřským děkanem Msgre. Janem Františkem Hermanem slavnostně posvěcena. Zmíněná dvojice tehdy dostala za svoji práci 80 zlatých. Můžeme se dohadovat, že právě za něj nebo za jeho nástupců došlo k barokní přestavbě, o níž se většinou píše pouze to, že k ní došlo v 18. století.
Roku 1736 ho zakoupil Václav Martinek a později ho získal František Mejtský. V roce 1779 se objekt dostal do dražby, v níž ho získal lékárník Václav Schwarzbach, jenž přišel do města kolem roku 1770 a zpočátku bydlel v domě čp. 58, ale díky své podnikavosti se mu podařilo svoji lékárnu zvelebit tak, že mu přinášela stále větší zisk, takže se mohl rozhodnout pro koupi nějakého domu ve městě, aby měl vlastní bydlení a nemusel se nacházet v pouhém nájmu, což se mu povedlo právě s objektem čp. 4, jehož zahrada se pak nacházela ve spodní části pod kostelem sv. Mikuláše, kde se říkalo "Pod mostem kostelním", což je vidět např. v indikační skice stabilního katastru z roku 1840 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=HRA169018400), kdy čp. 4 náleželo Matěji Koláčkovi. Výše zmíněný lékárník však měl tu smůlu, že krátce po koupi 16. dubna 1780 došlo k velkému požáru celého okolí domu, a to včetně kostela sv. Mikuláše, takže se musel pustit do jeho obnovy.
V 19. století byla provedena klasicistní přestavba čp. 4, které bylo později známé zejména zdejším obchodním domem Vojtěcha Sedláčka. Nejspíše tak došlo v 70. letech 19. století, kdy byla snížena silnice od brány až po hostinec "U Modré hvězdy" o 50-60 cm, což se projevilo tím, že u některých objektů muselo dojít k pořízení přístupových schodišť, většinou o 2-3 schodech. Určitě se tak nestalo po roce 1896, kdy zasáhl část náměstí požár, neboť ten zničil pouze desatero domů na pravé části náměstí (čp. 65-56) a čp. 4 se nijak nedotkl. V tomto domě působil s přestávkami sám majitel nebo jeho přízemí pronajímal k obchodním účelům, takže víme zejména o tom, že v něm působil obchodník Alois Pilbauer, který býval jak duší "Jarboje", spolku vzdělávacího a zábavního, tak zakladatelem a kapelníkem jaroměřské sokolské hudby, aby se nakonec věnoval hudebnímu odboru "Jaromíra".
Jak vypadala tato budova a co se v ní dělo na přelomu 19. a 20. století, tak to nám přináší vzpomínky obchodníka Bohumila Rykrta, jež vyšly mj. v 5.-6. čísle "Jaroměřska. Časopisu rodáků a přátel jaroměřského kraje", které vyšlo v červenci 1948: "Vedle školy dům p. Koláčka. Tenkráte tam měl obchod p. Pilbauer - prodával deštníky a různé dětské hračky. Stále mám před očima červenobílé paraple, které viselo nad vchodem." Tento obchod býval zván "U Pařížana" a nabízel velký výběr trikotového zboží výtečné kvality, pánské prádlo, hračky, housle, dětské vozíky, galanterní zboží, přičemž nejvíce byl známý největším skladem deštníků a slunečníků všech druhů nejen v městě samém, nýbrž v jeho širém okolí, jejichž opravy zde Alois Pilbauer též přijímal a vyřizoval. V roce 1921 pak byl vlastníkem domu Karel V. Koláček, jenž v něm měl obchod koloniální a barvami. Spolu s ním tu žila jeho o 19 let mladší manželka Anna Koláčková a syn Vojtěch Koláček. Posledně jmenovaní nemovitost zdědili po smrti obchodníka Karla Koláčka v srpnu 1934, ale již po zakončení studií pokračoval ve šlépějích otce syn Vojtěch, jenž pod značkou Karel Vojtěch Koláček provozoval od roku 1930 obchod smíšeným zbožím, k němuž přidal pojišťovací jednatelství, což prakticky fungovalo až do února 1948. V domě byla také nějakou dobu zřízena studentská noclehárna, zřízená péčí Klubu československých turistů, jehož členem kupec Koláček byl.
Sám objekt nebyl jako mnohé jiné budovy po osvobození od německých okupantů nebo po komunistickém převratu 1948 zabaven státem a zůstal v soukromých rukách. Šlo tak pouze o přízemní prostory, v nichž se vystřídala řada obchodů. 20. června 1979 byl dům zapsán do státního seznamu kulturních památek (viz
https://pamatkovykatalog.cz/mestansky-dum-13897992). Tehdy byla jeho majitelkou Helena Nývltová z Klouzkova čp. 306. Stále byl rovněž využíván jak pro obchodní účely (přízemní prodejna), tak pro bydlení v patře. Dlouhou dobu se však s ním nic nedělo, což není nic divného, protože za komunistického režimu většina obyvatel neměla na velké rekonstrukční práce, zejména když jim stát házel kolikrát klacky pod nohy a ukrýval to pod jeho památkovou ochranu. Prostě chtěl donutit vlastníky k tomu, aby mu objekt přenechali. Většina rekonstrukčních prací tak počkala až na období po sametové revoluci, např. v roce 1993 došlo k rekonstrukci střechy. V současné době náleží čp. 4 JUDr. Ivě Rudolecké (3/4) a JUDr. Zdeňku Rudoleckému (1/4).