Na tomto místě se nacházel původně tzv. „Podzidní“ („Podzední“) mlýn, který vznikl pod městskými zdmi a díky tomu obdržel tedy svůj název, i když lidově byl nazýván také jako „Podžidní“ neboli „pod Židy“. V některých dobách se mu navíc říkalo ještě „Podkutlofní“ nebo „Kutlovský“ (od toho, že se nacházel v blízkosti masných krámů čp. 38 – kutlofu) a „Jindřiščin“. Podle všeho vznikl jako mlýn, kde se mlelo pro hradní čeládku a jednou z prvních zmínek o jeho existenci je listina z 5. října 1448, kdy se město poddalo Jiřímu z Poděbrad. Přímo pro panstvo byl určen druhý mlýn, a to „Podkostelní“ (rovněž známý jako „Podklášterní“), který byl kolem roku 1556 zakoupen obcí od Jana Honse.
V roce 1557 držela mlýn Mandalena, vdova po Jindřichu z Krucemburka. Roku 1571 ho zdědila její sestra Ludmila Mikšová. V roce 1596 ujal „mlýn pod zídmi“ Jan Kupka, a to po svém otci Mikuláši Kupkovi. Roku 1614 držel mlýn Václav Svědík a u stavu podzedního mlýna bývala valcha neboli šlejferna, kterou v roce 1620 koupil od obce Matěk Obrman a zmiňuje se o ní Jindřich Šob ve svém díle „Pod tlapou černých lišek. Historický obrázek z doby „Temna“ z roku 1937. Za třicetileté války byl mlýn zničen, což dokládá záznam z roku 1641, kdy od obce koupil zbořený mlýn „pod hradem, jinak pod židy“ Jan Bajsker (rovněž zapisován jako Pajsker) a až do postavení nového mlýna mu byly sleveny všechny kontribuce.
O 3 roky později ho získala jeho vdova Dorota. V roce 1672 koupil mlýn „pod židy“ od císařského rychtáře Matyáše Lorence Jakub Cabicar. Tehdy měl trojí položení a 2 stoupy. Roku 1685 zakoupil objekt Fridrich John, jenž ho později svým tajným kšaftem odkázal své manželce a synu Janovi. V roce 1750 ho převzal po Davidu Braunovi Vojtěch Braun a po něm o 10 let později David Braun. V tomto zápise se mj. píše: „také tuto vědíno buď, že kdykoliv by se při témž mlýně nějaký losos dostal, poněvadž to J. M. cís. regalie jsou, takového uroz. p. primatoru oznámiti a podle slušné záplaty odvésti povinen bude.“
Velké neshody měl zdejší mlynář se svým konkurentem na hubrikovském mlýně (z tohoto mlýna vznikla Etrichova továrna), který sledoval výšku koruny jezu a náplatků u vodního díla pod ním ležícího, což vyvolávalo řadu sporů. Roku 1783 uzavřel mlynář podzedný David Braun s mlynářem hubrikovským Janem Ludvíkem dohodu o výšce jezu a výšce náplatků. Ta byla následně změněna a 19. října 1790 byla sepsána před magistrátem a vtělena do městských knih. V letech 1792-1806 byl vlastníkem mlýna a jezu podzedného Josef Braun, v letech 1806-1827 František Šefelín, v letech 1827-1835 Jan Řehák, od roku 1835 Josef a Dorota Řehákovi (roku 1848 byl mlynář Řehák jedním z důstojníků jaroměřské Národní gardy), za nichž byl v roce 1850 sepsán protokol o stálém bodu tohoto jezu, od roku 1864 Marie Řeháková, od roku 1867 Jan Řehák, od roku 1868 Karel a Anna Lánští, kolem roku 1873 Vincenc Prokop, od roku 1875 Jan a Marie Kratochvílovi, od roku 1878 Václav a Josefa Landovi (mlynář Landa vedl v roce 1883 opozici proti výstavbě chlapecké školy) a od roku 1898 Jindřiška Helmanová. Ta ho získala koupí od manželů Landových, což nepřímo dokazuje inzerát z roku 1892:
„Výhodná koupě neb nájem mlýna.
Za příčinou přestěhování se pronajmu neb prodám mlýn v Jaroměři na Labi; týž nalézá se téměř u samého náměstí, má 2 francouzské kameny, jeden obyčejný, špičák s eurekou, jednu šrotovku Ganzovu se čtyřmi válci, druhu největšího, jednu porcelánku, nové válce a všechny příslušné stroje čisticí; ve mlýně lze týdně semlet 200 metr. centů; zároveň jest při tom velká pekárna s dvěma pecemi na uhlí, nově postavená, v plném chodu, kdež se značné množství chleba peče; taktéž náleží k tomu velká zahrada a as 8 korců polí; detailní obchod jest značný a dá se ještě velice rozšířit. Cena velmi mírná dle dohodnutí. Bližší zprávy podá buď paní Jos. Landová v Jaroměři neb Václ. Landa, mlynář v Lejkově, pošta Byšice.“
K úpravě mlýna došlo poprvé v 1. polovině 19. století, v roce 1907 byl spolu s jezem podzedným zakoupen obcí a roku 1908 byl částečně zbourán a přestavěn stavitelem Janem Čermákem pro účely poštovního a telegrafního úřadu, přičemž původně nosil staré čp. 1 a současné čp. 18 obdržel po již neexistujícím objektu. Domy čp. 18-20 byly totiž v roce 1884 vykoupeny obcí a zbourány kvůli nové Komenského ulici. Levou polovinu bývalého mlýna získal poštovní úřad, pravá část byla využívána k obchodním účelům a v poschodí nad obchodem byly kanceláře Městské elektrárny. V roce 1918 se nacházela v exposituře okresního hejtmanství v poštovní budově úřadovna Národního výboru, a to se svolením obecního úřadu. Proti ní se v 1. patře nacházela později kancelář velitele Národní obrany, jenž se sem přestěhoval z policejní strážnice. Telefon sloužil pro obě instituce zároveň. Ještě předtím byl v souvislosti s prováděním městské kanalizace zasypán náhon Podzidního mlýna Na Valech. V roce 1926 sídlil v domě poštovní úřad I. třídy se 14 úředníky a 13 zřízenci, k němuž patřilo mimo Jaroměře ještě dalších 10 obcí. Roku 1929 byly zřízeny v objektu splachovací záchody. V roce 1931 obec pronajala poštovní správě požadovanou další dvojicí místností v čp. 1. O 5 let později byl bývalý mlýn v majetku městské elektrárny. Kromě pošty tu byly kanceláře městské elektrárny a sklady.
Roku 1949 byla otevřena v čp. 1 prodejna n. p. Masna. V lednu 1957 se zjistilo při kontrole požární komisí, že oba komíny jsou v dezolátním stavu a musejí se opravit, jinak by hrozil jejich pád. 20. června 1979 byl dům zapsán do státního seznamu kulturních památek. O 2 roky později hospodařila s budovou Okresní správa spojů. V roce 2009 prošel objekt opravou, během níž byl vybudován bezbariérový osobní i nákladní výtah. O rok později byla obnovena fasáda, opraveny okna a vyměněny vstupní dveře. Více o domě, který je dnes městským majetkem, zde:
https://pamatkovykatalog.cz/mestsky-dum-13899582.