Tato místa, přes která vede dnešní most s kapličkou Panny Marie (podle jedné z pověstí byla zřízena na místě, kde se sličná dcera pána hořenického hradu vrhla dolů do vodních hlubin, aby tak unikla příkoří, která jí způsobil správce království Českého Ota Braniborský, když ji měl unést a zneuctít; ve skutečnosti se tak nemohlo stát, protože voda je od tohoto mostu daleko, takže v některých dílech došlo k záměně s kapličkou Panny Marie na Vinicích, odkud je do Labe opravdu blízko; další zdroje hovoří o tom, že nebyla v 18. století vybudována, nýbrž pouze na most přesunuta kdesi z předměstí), bývala původně součástí městského opevnění, o čemž hovoří Antonín Knapp ve své knize "Paměti královského věnného města Jaroměře nad Labem" takto: "Někdejší hrad zaujímal se všemi budovami svými prostoru nynějšího vnitřního města, maje jediný vchod se strany Náchodské. Kde se nyní rozprostírá předměstí sv. Jakubské, bývalo toho času podhradí; tam měli příbytky své řemeslníci a obchodníci; tam byl již v té době nevelký kostel sv. Jakuba se hřbitovem. Poloha místní byla k vystavění hradu nanejvýš přízniva; mírná vyvýšenina, utvořená v nížině Labské skálou opukovou, kolem níž řeka téměř pravým úhlem se otáčí a nedaleko mohutný proud Úpy do sebe přijímá, byla místem již od přírody na polo opevněným, jak si toho staří Čechové k budování hradů přáli. Ne bez přičiny praví zajisté kronika Dalimilova, že místo to se Jaromírovi líbilo."
O tomto dvoudílném pozdně románském hradu kastelového typu (podle rekonstrukce Ing. arch. Petra Uličného z roku 1994) máme zprávu z roku 1126, kdy kníže Soběslav I. kázal převézt svého vězně Břetislava, syna knížete Břetislava II., z hradu Donína do jaroměřského hradu, odkud byl v roce 1128 přemístěn do Děčína. Již v té době byl dole příkop a okolo pevné hradby. Samo přemostění bývalo původně tradičním padacím mostem, aby se dalo omezit a uhlídat každého, kdo do hradu a města směřoval a zároveň se tak dala Jaroměř dobře chránit před případnými nepřáteli, kterých bylo v každé době dostatek.
Ve 14. století pak vznikl gotický kamenný most s klenutím, protože pouhý dřevěný most již nebyl vhodným pro stále více sem zajíždějící povozy, které vozily do města vše potřebné. Později byl most barokně přestavěn a rozšířen a v roce 1740 měla být přímo na mostě postavena kaplička Panny Marie. Jak to zde od té doby vypadalo, tak to nám opět zodpoví výše jmenované dílo Antonína Knappa:
"Domky od čís. 6. až 9. a na druhé straně od mlýna podkostelního až k čís. 30. jmenovaly se »na malé neb přední vartě.« Vedle příbytku čís. 6. před r. 1550. bývaly lázně.
Mezi čís. 9. a 10. a protějším čís. 30. býval zdvihutý most přes příkop, za kterým obě řady domův až k třetímu mostu při čís. 20. nazývaly se »na velké neb hrubé neb zadní vartě.«
Pořadí domův od čís. 10., jenž byl nad příkopem, až k mostu při čís. 20. již r. 1550. bylo celé vystavené, na protější však straně prodala obec teprv r. 1561. a násl. některá místa k vystavení příbytků.
Most na konci zadní varty slul do počátku 17. stol. most kotoulovský za tou příčinou, že majetník dvora řečeného kotoulovského (nyní čís. 168. Jk. př.) měl povinnosť jej opravovati; později nazýván byl most spírovským od Samuele Spíry, držitele vedlejšího domu čís. 20., v stol. 18. pokaženě zbirovským."
O mostu kotoulovském se poprvé dozvídáme z roku 1555, kdy se v listinách hovoří: „... za druhou vartou u mostu Kotoulovského dolů ke špitálu..." Kolem obou jmenovaných vart vedla stejně jako kolem celého města kamenná hradební zeď, která byla později snesena. Stav mostu se od jeho barokní přestavby v 80. letech 18. století příliš neměnil, což můžeme vidět pouhým porovnáním I. vojenského mapování z let 1764-1768 a jeho rektifikace z let 1780-1783 (viz
http://oldmaps.geolab.cz/map_viewer.pl?lang=cs&map_root=1vm&map_region=ce&map_list=c079) s indikační skicou stabilního katastru z roku 1840 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=HRA169018400) a jeho reambulací z roku 1877 (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=omc&idrastru=B2_a_4C_2486_3). K drobným změnám pak začalo docházet po roce 1866, kdy se začala likvidovat a přestavovat zadní varta. Z tohoto nám vychází, že většina z konstrukce mostu musí pocházet až z 18. nebo 19. století.
V 80. letech 19. století pak prošlo přemostění dalšími úpravami, když bylo opatřeno vysokou ochrannou zdí, přes kterou nemohl člověk vidět. Rozšíření bylo provedeno o kout před domem čp. 20, došlo ke zbourání staré ochranné zdi, kterou nahradilo následně zábradlí, silnice byla puštěna níže o schody u domů čp. 21 a 20, čímž došlo k odstranění prudkého stoupání, která bývalo v zimě velkým postrachem nejen zdejších formanů a povozníků. Na svém místě byla zachována rovněž výklenková kaplička Panny Marie, jež je tvořená konchou s představenými pilastry a segmentovým štítem. Další změna přišla v letech 1904-1906, kdy byla vydlážděna silnice od kapličky až po zeměbranecká kasárna a na levé straně cesty vznikly obecním nákladem mozaikové chodníky. O těchto změnách nalezneme ve stati "Procházky starou Jaroměří" následující: "Silniční most mezi domy Zauzalovými opatřen byl stejnou zdí jako mosty u velkého kostela, ve zdi na pravé straně, která byla asi půldruhého metru vysoká, nalézala se kaplička Panny Marie, která, když ošklivá zeď nahražena byla nynějším slušným kamenným zábradlím, byla zachována a jest nákladem pana Zauzala také udržována."
Údržba kapličky rodinou Zouzalovou a starost o most jaroměřskou městskou obcí probíhaly až skoro pravidelně do poloviny 20. století, pak starost o oba objekty znenáhla téměř ustala, pokud nepočítáme náhradu původní štětované silnice kamennou dlažbou a posléze asfaltovým povrchem. Roku 1959 byla u mostu instalována busta knížete Jaromíra od Rudolfa Šraibra. Tehdejší MNV však považoval takovou oslavu feudálního pána za zpátečnickou, takže busta byla následně přemístěna do muzea a na podstavec byla usazena pěticípá hvězda. 28. února 1964 byl most s kapličkou zapsán do státního seznamu kulturních památek (viz
https://pamatkovykatalog.cz/silnicni-most-s-kapli-panny-marie-2157710), aby byl v roce 1988 opraven stříkaným betonem neboli torkretem. Různých oprav však zažilo toto přemostění mnohem více, protože nebylo děláno na dnešní dopravu, i když v současnosti je zdejší ulice pouze jednosměrná, ale ani to nestačí. Roku 1996 byl těmito místy prováděn výkop pro telefonní kabely a před domem čp. 20 se našly zbytky základového zdiva o šířce 70 cm a v délce 3,5 m, u něhož se uvažuje, že buďto šlo o severní bok původní městské brány (Zadní varty), nebo o část Kotoulovského mostu, o němž se např. zmiňuje Zikmund Winter ve své povídce "Ochladlý žár. Obrázek ze života starodávného".