Pohledově jde zdánlivě o dvoupatrový dům s valbovou střechou, jenž vznikl na širší parcele na tzv. Velké vartě jako jednopatrový dům výstavbou v 16. století, ale několikrát byl přestavěn, a to po požáru v roce 1670 a na přelomu 18. a 19. století, kdy získal klasicistní vzhled, přičemž roku 1905 byl snížen val tzv. Varty, o níž Jan Stanislav Polický napsal v publikaci "Kniha o Jaroměři" následující: "Strážnice neb varta jaroměřská stála dle mínění Hraše v místech poblíže kostela sv. Mikuláše na předměstí svatojakubském, o kterém, jak již řečeno, jest známo, že již v době předhistorické bylo osadou. Ještě do nedávna stála před domy č. 6., 7. a na druhé straně mlýna podkostelního až k číslu 30. zděná vyvýšenina a říkalo se tam na malé neb přední vartě, na rozdíl od velké neb druhé, neb zadní varty, která šla od mostu nad příkopem až k č. 20."
Prvním známým vlastníkem objektu, který již náleží k Jakubskému Předměstí, nikoliv přímo k městu, byl kožešník Václav, po němž ho v roce 1584 převzal kožešník Mikuláš, podle všeho šlo o jeho syna, ale vyloučeno není i to, že byl pouze členem téhož cechu. Roku 1600 koupil dům od Petra Chudka Václav Skála. Za třicetileté války byl objekt vyrabován a poškozen, ale k jeho vypálení nedošlo. V roce 1650 byl i s vedlejším pustým místem převzat Lukášem Skálou, aby o 20 let později vyhořel. Tehdy shořela většina domů na náměstí a skoro celé Jakubské Předměstí, a to včetně kostela i s věží, na níž se rozlily zvony.
Jeho obnova trvala déle, protože kompletní náhrada všech škod po požáru byla skoro nad možnosti majitele. Roku 1681 ujala dům vdova Kateřina, jež se provdala za Ferdinanda Manna. V roce 1695 převzal objekt zeť Daniel Miselius, roku 1727 ho koupil Josef Vlach, v roce 1756 ho držel Václav Martinek, aby 16. dubna 1780 byl opětovně poškozen velkým požárem, který byl způsoben neopatrností mistra řeznického a majitele domu "U Modré hvězdy" Adama Kroupy. Na výstrahu pak dal Václav Matuška vzadu na vartě u domu postavit kamenné památníky. Na jednom bylo uvedeno: "††† 1786 W M" a na druhém: "Palič ADAM KROUPA, 16. Aprille 1780". Ten byl umístěn právě v varteckém domě čp. 14 a jeho existence v těchto místech byla doložena ještě "Památníkem 50tiletého trvání Sboru dobrovolných hasičů v Jaroměři 1873-1924". V letech 1780-1781 tak došlo k další obnově tohoto objektu, jenž pak roku 1848 patřil Ignáci (Hynkovi) Krausovi (do dějin města se zapsal tím, že přispěl 50 zl. na opravu oltáře sv. Šimona a Judy), roku 1873 byl jeho vlastníkem Hynek Kraus, v roce 1903 náležel dům soukromnici Františce Krausové († 13. listopadu 1903), roku 1912 patřil dědicům po Františce Krausové a roku 1921 dědicům Durchánkovým, kdy zde žilo celkem 22 lidí v 8 bytech (almužnice a šička rukavic Juliána Vidrmanová, barvířský mistr František Rohn, kostelník Josef Jetmar, zedník Bedřich Pecna, soukromnice Terezie Hvězdová, soukromnice Florentina Šimková, truhlářský mistr Čeněk Ašenbril a štepovačka Julie Pácaltová). Po rekonstrukci v 19. století se dostalo dveřní klepadlo z čp. 14 do sbírek jaroměřského muzea, alespoň podle jeho průvodce z roku 1910. Protože dům sloužil zejména k bydlení, tak o něm mnoho zmínek nenalezneme. Jednou z mála takových je inzerát tamního obchodníka s hudebními nástroji, který byl publikován v "Národních listech" 8. prosince 1895:
"P. T. hostinským!
Výtečný, trvanlivý a výnosný hudební stroj symphonion-automat, 2 m. vysoký, 60 cm. široký a 37 cm. silný s 18 ocelovými notami, který po každém vhození hraje 2 kousky a který se dá upraviti na každý peníz, jak si kdo přeje a výborně se hodí pro zábavu hostů, je levně na prodej. Taktéž prodá se jiný hudební nástroj s válcem a citerou, hrající osm kousků. Bližší sdělí Jan Strnad v Jaroměři, na Jakubském předměstí, č. 14, v 1. poschodí."
Ještě předtím zde bývala kolem roku 1864 obuvnická dílna Jana Iblera. V soukromých rukách zůstal dům během obou totalitních režimů. 20. června 1979 byl zapsán do státního seznamu kulturních památek. O 2 roky později byl jeho majitelem Julius Bano. Roku 1993 se budova dostala do majetku evangelické církve a následně probíhala její rekonstrukce. Od 17. listopadu 1996 jsou zde poskytovány služby pro děti, rodiny a lidi v nepříznivých situacích, jež nabízí středisko Milíčův dům, k jehož založení Farním sborem ČCE v Semonicích došlo v roce 1992 (viz
https://www.milicak.cz). Roku 2007 získalo toto středisko registraci nízkoprahového zařízení pro děti a mládež, v roce 2013 sociálně aktivizačních služeb pro rodiny s dětmi a roku 2014 odborného sociálního poradenství. Více o tomto domě samém, který dnes tedy náleží Diakonii ČCE - středisku Milíčův dům, lze zjistit na webu památkářů:
https://pamatkovykatalog.cz/mestansky-dum-13899141.