Když došlo k rozhodnutí o výstavbě pevnosti, tak jedním z těch, kteří se tu usadili, byl mistr zámečnický Pavel Wagner z Prahy. Nedlouho poté byl ustanoven mistrem fortifikačním, což znamenalo měsíční služné ve výši 22 zlatých a 45 krejcarů. Nějakou dobu mu trvalo, než se rozhodl, že již v Josefově zůstane a domů do Prahy se nevrátí. Vzpomněl si totiž, že nově vzniklá pevnost, kde nemá ještě žádnou konkurenci ve svém řemesle, by mohla být „zlatým dolem“, zatímco v Praze by se musel hodně snažit, aby měl zakázky.
Ke konci roku 1793 došlo k jeho rozhodnutí, že si tu postaví vlastní dům a v následujícím roce započal jeho stavbu, jež ho vyšla na 16 150 zlatých, ale část tohoto nákladu byla uhrazena příspěvkem eráru. Využita byla skoro čtvercová parcela mezi starým pavilonem a jednoduchými kasárnami a dům obdržel čp. 10. To z toho důvodu, že při prvním očíslování pevnostních objektů roku 1810, se dostaly na řadu nejdříve vojenské objekty (čp. 1 bylo místní velitelství, čp. 2 hlavní stráž, čp. 3 jezdecká kasárna, čp. 4 vojenská nemocnice, čp. 5 zbrojnice, čp. 6 ženijní ředitelství, čp. 7 vojenská zásobárna a pekárny, čp. 8 starý pavilon a čp. 9 nový pavilon) a hned po nich tato nemovitost, protože náležela k těm prvním civilním (občanským) v Josefově. Její umístění můžeme krásně vidět v indikační skice stabilního katastru z roku 1840 od adjunkta 1. třídy Johanna Josta a geometra 3. třídy Josepha Harrera.
Aby zámečník Wagner jasně upozornil na svoji živnost a ozdobil svůj, v klasicistním stylu vystavěný dům, zhotovil na průčelí tehdy velmi oblíbený motiv 2 putti, kteří nesli odznaky jeho živnosti. Po čase však byli odklizeni na půdu tohoto domu a počátkem 20. století se stali součástí sbírek městského muzea v Jaroměři. Josef Duška ve svých „Pamětech“ o tom píše toto: „Wagner dal zhotoviti dva nahé muže z kamene v nadživotní velikosti, kteří majíce v rukou odznaky řemesla zámečnického, klíč, kružítko a kladivo, posazeni byli nad římsu průčelí a dodávali této pěkného vzhledu, neboť byli pracováni dosti uměle; muži tito mohli by i nyní dosti dobře sloužiti za znamení městu, jak také jinde semotam spatřujeme, kdyby nepovalovali se na půdě obtěžujíce svojí tíhou klenbu.“
Velmi rychle si získal ve svém řemesle takový věhlas, že byl v roce 1807 jmenován spolu s Janem Rumpelmayerem jako městský reprezentant, přičemž práva měšťanského obdržel již dávno předtím. Část domu byla pronajímána k bydlení a první vlastníci nemovitosti byli nejspíše velmi soucítícími, protože zde žily svobodné matky, invalidé a lidé, jež měli hluboko do kapsy, např. roku 1840 tu žil vojenský invalida Anton Grulich se svojí rodinou. Později získal objekt kupec Josef Kostelecký, který byl zmíněn jako vlastník domu čp. 10 roku 1885. Vedle toho působil od roku 1878 jako člen obecního výboru a jeho dcera Jitka byla kmotrou nového školního praporu, jenž byl posvěcen 19. července 1885 zdejším administrátorem P. Adolfem Dvořáčkem. V roce 1926 náleželo čp. 10 řezníku Antonínu Svobodovi, který byl rovněž členem obecního zastupitelstva. O 4 roky později v domě působil praktický lékař MUDr. Rudolf Pěšák.
Po 2. světové válce sloužil dům jak k činžovnímu bydlení, tak tu měly provozovny a sídla různé firmy, což platí dosud, např. v letech 2002-2003 bar Magda Žižková M + L. Od 2. března 1964 je objekt památkově chráněn, protože byl zapsán do státního seznamu kulturních památek. V letech 2007-2008 došlo k jeho opravě, kdy byly vyzděny poškozené komíny, opravena římsa, oplechovány atiky, nadokapní žlaby a úžlabí, osazeny nové svody a na střechu byla položena nová pálená krytina. Dnes objekt patří Ing. Zdeňku Cidlíkovi a Josefu Koudelkovi. Více o něm lze najít zde:
https://pamatkovykatalog.cz/mestsky-dum-12423376.