Původně se v těchto pravidelně zaplavovaných místech nacházel Podkostelní mlýn, o němž máme zmínku již z 22. listopadu 1465, kdy byl jmenován v narovnání mezi podkomořím království Českého Vaňkem (psán jako Vaniek) z Valečova a jaroměřskou obcí. Od té doby byl obecním vlastnictvím, a to až do období před rokem 1760, kdy ho obec odprodala do soukromých rukou. Antonín Knapp nám ve svých "Pamětech královského věnného města Jaroměře nad Labem" uvádí z jeho dávné historie toto: "Mlýn podkostelní r. 1556. neb krátce před tím koupila obec; t. l. učinil Jan Hons od mlýna toho odevzdání obci; 1558. nazývá se mlýn ten též mlýn pod klášterem. Obec držela mlýn podkostelní téměř po dvě století; okolo r. 1750. dr. jej Matěj Štejma; 1760. k. Jan Jánský; 1763. Tomáš Skála k. za 2800 zl. Byl toho času o třech složeních a náležel k němu palouk s rokytím a pustým místem »kavčí trh« nazvaným. V zápisu tom se připomíná transakce z r. 1702. a povinnosť Dolanských »šosovně poddacích« svá meliva do mlýnů obecních dovážeti, zejména Dolanští k tomuto mlýnu zas byli přivtěleni. - Při tom měl povinnosť držitel mlýna obecní vodárnu v nejlepším pozoru dnem i nocí míti, vodu stále do města pilně hnáti atd. Za to dostával mlynář od měšťanů starobylý plat z každé várky od hnaní vody 10 kr., a na potřebné mazadlo z důchodův obecních 3 zl. 13 kr. R. 1771. k. František John."
Když mlynář Josef Stárek postoupil mlýn svým synům Josefu a Rudolfovi, zřídili tito barevnu a tiskárnu látek. V souvislosti s touto přestavbou byly vykoupeny domky na již zmíněném "Kavčím trhu". Jednalo se o čp. 39 Václava Stránského, čp. 40 Anny Švertnerové a čp. 41 Františka Chmelíka. Bratrské dvojici se však příliš nedařilo a po konci jejich závodu koupilo tento objekt konsorcium tiskáren v Čechách, jež stroje z továrny rozprodalo a mlýn zbořilo. Poté se tyto pozemky dostaly koupí do rukou města a od něho přešly do majetku v roce 1894 vzniklé firmy Josef Pěnička a syn z Ústí u Staré Paky, jež závod v letech 1907-1908 přestavěla. K němu rovněž přistavěla na místech zbouraných domů čp. 36 Jana Rohna a čp. 38 Josefa Volfa přízemní tkalcovnu a prázdné prostranství u továrny přeměnila v park. Kdo byl autorem plánů, tak to přesně nevíme. Mnohé zdroje uvažují o tom, že jejich tvůrcem byl místní stavitel a architekt Josef Máša, který vypracoval návrh obytného domu u staršího čp. 38.
Továrna, jež roku 1909 vstoupila do Spolku českých textilníků, se zprvu zabývala výrobou režného bavlněného zboží, zejména šlo o kapesníky a sypkovinu. Jako pohon využívala nejen vlastní vodní elektrárnu, nýbrž také parní stroj o 120 HP, i když ten byl brán spíše za záložní zdroj. Firmě se rok od roku stále více dařilo, protože její výrobky byly velmi kvalitní a jak to tak bývalo, zvěsti o kvalitě se brzy roznesly nejen mezi místním obyvatelstvem, ale též po celých Čechách, následně i po Rakousko-Uhersku a dokonce i mimo jeho hranice. Zatímco v roce 1912 měla necelých 100 zaměstnanců a většina prací byla prováděných ručně, tak v prosinci 1924 zde pracovalo 56 zaměstnanců, jež obsluhovali 178 tkalcovských stavů 6 dní v týdnu (z nich bylo 40 žen).
Jediným složitým obdobím se tak stala 1. světová válka, kdy díky odvodům, nedostatku materiálu a ztrátě trhů přestala továrna v roce 1915 fungovat, aby po vzniku ČSR nastartovala ještě mohutnější rozvoj. Zpočátku to však nevypadalo, protože v prosinci 1920 vázl příděl uhlí, a tak byla na nějakou dobu výroba zastavena. Ale to byly "porodní bolesti" nově založeného státu. Jinou věcí byly časté klamné zprávy, jež vypouštěla konkurence, např. roku 1923 se objevily zvěsti o tom, že továrnu koupila firma Fr. Polický a ta v ní hodlá zavést výrobu svršků pro obuvníky. Tyto hoaxy přivedly společnost do problémů, ale vše se nakonec vyřešilo v témže roce při vyrovnávacím řízením před královéhradeckým obchodním soudem.
Následného velkého boomu a přibývajících finančních prostředků bylo využito k dalšímu rozšiřování závodu. V roce 1925 byla postavena barevna a bělidlo a o rok později byla zahájena produkce jemného bavlněného zboží. K rozvoji firmy však byla nutně potřeba elektrická energie. Z tohoto důvodu byla v letech 1928-1929 vybudována nová vodní elektrárna, jíž bylo uděleno čp. 37 (podle vlastního projektu Josefa Pěničky). Tato novostavba byla poškozena známou větrnou smrští 4. července 1929, kdy došlo ke stržení vysokého štítu. Roku 1931 vyrostl ještě domek vrátného s čp. 36 a nové kanceláře a byt s čp. 39. Pak se objevila velká překážka v podobě následků světové hospodářské krize a počátkem ledna 1933 zde byla na nějakou dobu zastavena výroba. Koncem 30. let 20. století bylo plánováno rozšíření závodu, k němuž však vlivem politických událostí nedošlo, a tak byl v roce 1939 prodán např. moderní vysokovýkonný šlichtovací teplovzdušný stroj od firmy MASUREL-LACLERCO z Roubaix. Jeden takový stroj měl nahradit až 3 dosavadní zařízení, ale za 2. světové války již nebylo na nějaké investice ani pomyšlení.
Po osvobození od německých okupantů byla využívána přízemní hala barevny firmou Krčmář a syn, továrna na drát a nábytková pera (pronajata jí byla v roce 1947), jejíž výroba byla v letech 1937-1939 soustředěna ve velké hale a menších dilnách při čp. 91 na Jakubském Předměstí. Po znárodnění celého provozu zde fungoval n. p. Kovosmalt a po něm Karosa Vysoké Mýto. Textilka posloužila ke zřízení školního závodu n. p. Lina Jaroměř, naopak malá vodní elektrárna se dostala do správy n. p. Východočeské elektrárny Hradec Králové. Stavu tohoto areálu nebyla věnována velká pozornost, opravováno bylo pouze to, co bylo nezbytně nutné. Když došlo po roce 1989 ke společenským změnám, tak byly všechny budovy opuštěny a začaly chátrat. V provozu zůstala pouze malá vodní elektrárna s 1 turbínou, která dnes náleží Josefu Pěničkovi a Jiřímu Skuhrovi (viz
http://www.tv-adams.wz.cz/vodni_dila/452.html), naopak areál bývalého závodu patří Ing. Janu Čížkovi a Jaroslavu Lhotákovi.