Na první pohled by málokdo v tomto nárožním domě se sedlovou střechou hledal památkově chráněný objekt, ale skutečně je tomu tak. Původně šlo o 2 spojené gotické objekty (některé prameny usuzují, že mohlo jít již o budovy v románském stylu), z nichž se však dochovaly pouze valeně sklenuté sklepy, které mají pocházet nejspíše z 15. století. Následně došlo jak k renesanční, tak k barokní úpravě budovy, jež vzhledově nezakrývá to, že vznikla z původních 2 domů, ale zásadní změna přišla až v roce 1792, kdy došlo k její přestavbě v klasicistním duchu. Aby to však nestačilo, tak roku 1916 došlo ke snesení některých kleneb a v roce 1924 bylo upraveno průčelí, ale různých změn bylo na objektu provedeno během staletí mnohem více.
Prvním doloženým vlastníkem domu byl švec Michal, od něhož dům v roce 1553 koupil Vojtěch Zachystal. Roku 1564 došlo k tzv. frajmarku, kdy si dosavadní majitel vyměnil svoji nemovitost s Janem Němečkem. V roce 1615 se domu říkalo "Nad pekelcem". Toto pojmenování však nemělo nic společného s peklem, jak by se mohlo zdát, nýbrž v té době byl objekt v majetku význačné měšťanské rodiny Pekelských, stejně tak jako čp. 39, nazývané přímo jako "Pekelec". Toho roku prodal Jiřík Pekelský tento dům faráři z Hořiček Václavu Dačickému. Tento významný farář podobojí byl v roce 1595 farářem v Žíželevsi, roku 1598 v Litíči a v roce 1613 na Hořičkách. Již roku 1604 zakoupil v Jaroměři jiný dům, ale nikterak mu nepostačoval, a tak ho raději o 3 roky později odprodal a raději si obstaral právě objekt čp. 40.
V roce 1647 ho zdědil po matce Zuzaně Václav Tluka a po něm roku 1675 jeho syn Simeon Tluka. V roce 1743 zakoupila dům Kateřina Zejdlová, roku 1766 Jan Hofman a v roce 1792 Antonín Kirchner, přičemž již od počátku téhož století byl objekt spolu s čp. 36 najat obcí pro ubytování vojska, když ve městě leželo. Odtud byla budova též nazývána jako "kasárna Zajdlovská". Roku 1908 náležel tento dům, kde nalezneme začátek podloubí, které nepřetržitě vede k fortně u děkanství, MUDr. Jindřichu Stárkovi a v roce 1936 fotografu Oldřichu Šustilovi.
O tomto období hovoří "Ročenka knihovny a muzea v Jaroměři VI, 2001" toto: "Čp. 40 - Majitelem tohoto domu byl MUDr. Jindřich Stárek. Byl prvním zubním lékařem v Jaroměři. Zemřel v roce 1921. Dům od něho koupili manželé Šustilovi. Zubní ordinaci převzal MUDr. Jan Loužil, později zde byl zubní technik Stanislav Půlpán. Obchod na podsíni převzala po mydláři Vláškovi paní Šustilová. Mimo mýdla a pracích prostředků prodávala veškerou parfumerii. Ve druhém krámě na podsíni měla prodej krejčovských potřeb M. Riegrová. V zadní části domu měl prostorný ateliér majitel a fotograf Oldřich Šustil. První krám v kopci měl cukrář Rohn, ve druhém byl holič Ulrich."
K výše jmenovanému dodejme to, že MUDr. Jindřich Stárek působil původně jako externí lékař všeobecné nemocnice v Praze a byl absolventem porodnického a gynekologického kursu v Berlíně. Všeobecnou lékařskou a zubní praxi zahájil v Jaroměři 1. února 1903, aby se zde stal rovněž politicky (označován jako "duše místního radikalismu"), společensky a kulturně významným elementem, jenž neměl vždy na růžích ustláno, což dokazuje zmínka "Národních listů" z 31. října 1909: "Dvakráte nepotvrzen členem okresní školní rady. Pan MUDr. Stárek v Jaroměři zvolen byl nejprve členem místní školní rady a potom členem okresní školní rady. Volbu tuto c. k. místodržitelství bez udání příčin nepotvrdilo. Obecní zastupitelstvo jaroměřské projevilo se znova pro p. MUDra. Stárka. Než i tentokráte, tedy po druhé, odepřelo c. k. místodržitelství svůj souhlas. Příčina vězí snad v tom, že dr. Stárek účasten jest veřejné práce, která jistým živlům není příjemnou". Vedle toho byl členem vedení Pravovarního měšťanstva v Jaroměři (jeho dům byl pravovárečným již od středověku). Zmíněný cukrář Robert Rohn zde působil na přelomu 19. a 20. století a jeho cukrářství, přezdívané "V Kopci", bylo všeobecně oblíbené, neboť na svých výrobcích nešetřil na materiálu, natož na kvalitě. Ať již šlo o dorty, jednotlivé zákusky či cukrovinky. Největší nával u něho býval vždy na Mikuláše a před vánočními svátky. Umělecký fotograf Oldřich Šustil byl zase velkým podporovatelem místního muzea, a to jak finančně, tak hmotně, zejména svými fotografiemi ze starších dob Jaroměře. Spolu s cukrářem Rohnem ho spojovalo nejen přátelství, nýbrž též členství v TJ Sokol a ve vzdělávacím a zábavním spolku "Jarboj". V obchodě s toaletními potřebami Františky Šustilové se rovněž prodávaly vstupenky na různé místní kulturní a společenské akce. Na uměleckou tradici Oldřicha Šustila pak navázal jeho syn Vratislav Šustil (19. září 1919 Jaroměř - 9. prosince 2017 tamtéž), který na sebe upozornil zejména různými krajinami a akty, ale neocenitelné jsou též jeho divadelní snímky (viz
https://nachodsky.denik.cz/kultura_region/fotograf-sustil-predstavi--snimky-20090925.html), i když profesionálně byl dokumentačním fotografem královéhradecké lékařské fakulty, přičemž otcův fotografický salon vedl v letech 1947-1952 a v letech 1952-1956 ho převzalo družstvo Fotografia. Kdo se chce dozvědět o obou fotografech trochu více, doporučuji mu, aby si přečetl knihu "Ve městě u tří řek" od Františka Černého.
Ke změnám budovy však nedošlo pouze ve 20. letech 20. století. V roce 1933 byla provedena úprava schodiště a majitel si zřídil novou výkladní skříň. Na rozdíl od jiných objektů se čp. 40 nedostalo po 2. světové válce do rukou státu, nýbrž přečkalo jako soukromý majetek. Pouze živnosti v něm zanikly nebo byly znárodněny. 20. června 1979 byl dům zapsán do státního seznamu kulturních památek. V té době náležel Vratislavu Šustilovi a Oldřišce Halbichové. Dlouhý čas fungoval pouze jako obytný, pokud nepočítáme zdejší hostinec. V letech 2011-2012 byla provedena rekonstrukce objektu. V přízemí došlo ke změně vnitřní dispozice. 1. a 2. poschodí bylo upraveno pro komerční využití, z podkroví vzniklo další patro, díky čemuž byl vyměněn krov, zřízena čtveřice vikýřů a střešní okna. Dnes je jeho vlastníkem Jiří Malík a nacházejí se zde např.: privátní oční klinika Oční ordinace s. r. o., oční optika Optika Hrubá s. r. o. (od roku 2018) a pivní bar U Čolka (od roku 2016). V letech 2015-2018 byla v objektu trafika Michala Matějce, ale vystřídala se zde i řada vietnamských obchodníků. Více se o tomto domě dá dozvědět na webu památkářů:
https://pamatkovykatalog.cz/mestsky-dum-13962380.