O existenci Brocna se poprvé dozvídáme v roce 1357, kdy ho rytíř Epík z Hrádku prodal za 700 kop grošů českých pražské univerzitě, která držela toto zboží až do roku 1376. Tehdy ho postoupila Jindřichu Škopkovi z Dubé a sama univerzita za Brocno obdržela výměnou jiné vsi z majetku tohoto šlechtice. Tím bylo následně Brocno připojeno k Liběchovu. Během husitských válek ho ovládl Zikmund z Vartenberka, ale na nařízení císaře Zikmunda Lucemburského ho postoupil Mikuláši z Tuhance. Z té doby se však nedochoval žádný záznam o brocenské tvrzi, i když v té době nejspíše již existovala.
Prvně byla zmíněna až v roce 1452, kdy na ní seděl Aleš z Velešic. Když roku 1478 zemřel, tak si jeho majetky podělila dvojice jeho dcer, přičemž Brocno spadlo Kateřině, manželce Albrechta Kaplíře Osterského ze Sulevic. O obou se dozvídáme ještě koncem téhož století, neboť Albrecht žil ještě v roce 1489 a vdova po něm roku 1492. Po nich byli držiteli Brocna bratři Petr a Ladislav ze Sulevic, a to spolu s jejich matkou Dorotou. Společně ho vlastnili ještě v roce 1528. Později nejspíše připadlo Petru ze Sulevic, jenž zemřel před rokem 1532. Po něm ho zdědili synové Albrecht a Šťastný a kolem roku 1544 Brocno vložili do obnovených zemských desek. O 2 roky později si otcovský majetek rozdělili a Brocno získal Šťastný, který zdejší kmetcí dvůr zapsal v roce 1576 své manželce Anně z Nové Vsi, aby již o 2 roky později byl mrtev. Poté se ujal vlády jeho syn Jiřík a po něm vdova Magdaléna (psána jako Mandaléna), jež se podruhé vdala za Alexandra Keje z Hyršfeldu. Za nich došlo nejspíše k renesanční přestavbě brocenské tvrze.
Roku 1603 odkázala Brocno svému synovi z prvního manželství Vojtěchu Vladislavu Kaplířovi ze Sulevic, ale svému muži a dcerám odkázala tolik peněz, že je dědic nemohl zaplatit. Z tohoto důvodu prodal v roce 1604 Brocno Alexandru Kejovi z Hiršfeldu, který ho držel pouhé 4 roky. Po jeho smrti mělo připadnout jeho nezletilé dceři Lidmile Sabině, ale statek byl předlužen, takže nebylo možné ho udržet. Roku 1609 ho tak koupil Alexandrův nevlastní bratr Václav. V roce 1612 byla polovička městečka Brocna s Jaršlovským dvorem odprodána Petru Koučovi z Kouče, jenž roku 1615 prodal menší polovinu Brocna Oldřichu Kaplíři ze Sulevic na Radujni (Radouni) a Chcebuzi a jeho ženě Lidmile, čímž se dostala k chcebuzskému panství a spolu s ním později k Liběchovu, což se stalo v roce 1683.
Oldřich Kaplíř ze Sulevic se však aktivně účastnil českého stavovského povstání, takže mu po Bílé hoře byla jeho část vsi zabavena (Horní či Malé Brocno), aby mu byla nakonec ponechána jako manství. Právě zde se nacházel výše jmenovaný Jaršlovský dvůr s obytným stavením, jež bylo některými autory považováno za druhou brocenskou tvrz. Ve skutečnosti zde sídlili pouze vrchnostenští úředníci a na místě tohoto objektu vznikla koncem 18. století mohutná čtyřpatrová barokní kamenná sýpka s mansardovou střechou a pilastry, která sloužila hospodářským účelům ještě o 2 století později.
Druhá část městečka (Dolní Brocno) s renesanční tvrzí patřila Václavu Kejovi z Hiršfeldu, jemuž byla v pobělohorském období zkonfiskována polovina majetku, takže Brocno koupila za 19 500 kop grošů míšeňských Polyxena z Lobkovic. Ta však zjistila, že kupovaný statek je úplně zpustošený a nepřinesl by jí žádný zisk, pouze velkou ztrátu, takže se rozhodla ho nepřevzít. Tato část tedy díky tomu zůstala vdově po Václavu Kejovi Dorotě, roz. Kaplířové, což schválila rovněž královská komora. Její jediná dcera Estera Judita se provdala za Kašpara Ratzenbergera z Ratzenbergu a roku 1636 převzala od matky Brocno. Statek zůstal mnoho let zcela zpustlý a ani tvrz nebyla využívána, a proto ho nakonec královská komora prodala v roce 1668 pětici dětí Estery Judity za 10 520 kop grošů míšeňských. O rok později pak byl vložen do zemských desek a Esteřin syn Bohumír (Gotfrýd) Konstantin ho roku 1687 prodal ženskému premonstrátskému klášteru v Doksanech, jenž držel tuto polovici Brocna až do jeho zrušení v roce 1782, kdy ji získal plukovník Jakub Wiemmer, který nejspíše nechal brocenský zámek přestavět. Ta pak byla nakonec roku 1802 rovněž přikoupena k Liběchovu, jenž držel Jakob Veith a po jeho smrti syn Anton Veith.
Ale zpět ke tvrzi samé! Za třicetileté války byla tvrz vypleněna a silně poškozena. Její obnova by stála značnou finanční částku, takže byla raději ponechána ve svém zpustlém stavu. Teprve ve 3. čtvrtině 17. století došlo k její přestavbě v barokní patrovou stavbu s dvojicí krátkých křídel s přízemními arkádami (dochovaly se pouze v severní části) a hladkým průčelím s lizénovými rámy. Naopak na jižní straně se částečně dochovala renesanční psaníčková sgrafita a opěrný pilíř, což by obojí mělo být pozůstatkem z původní tvrze. Přízemí zámku pak získalo valené barokní klenby a místy segmentové lunety. Později se začalo přemýšlet nad tím, co udělat se zdejším zámkem. Panstvo ho ke svým vlastním účelům nepotřebovalo, a tak zde nechalo umístit nejprve správu statku a později lesní úřad (když roku 1878 získal Brocno kníže Emmanuel von Collalto). Tehdy došlo také k úpravě zámku, kdy došlo zejména k úpravě fasády, kdy z pilastrů zůstaly pouhé lizénové rámy na hlavních stěnách. K tomu byla navíc přistavěna nádvorní arkáda a terasa, i když v některých zdrojích se hovoří pouze o přestavbě původních arkád, takže si můžeme vybrat, zda byly úplně nově vzniklým nebo jen pouhým přestavěným prvkem. Další ránou pro zámek se stal požár v roce 1933, po němž došlo k další necitlivé přestavbě, u níž se dbalo pouze na užitek.
Nezájem o stav zámku i dvora se však objevoval již koncem 19. století, kdy byl sám hospodářský dvůr pravidelně pronajímán, např. kolem roku 1894 ho měl jako pacht Gustav Heller. V roce 1916 ho získala hraběnka z Lippe a Bisterfeldu, roku 1920 Ing. František Homolka a v letech 1938-1945 spravoval zdejší hospodářství německý stát. V roce 1945 připadl zámek i s hospodářským dvorem státu. Později ho získal místní MNV, jež zde měl své kanceláře a byty. V 70. a 80. letech 20. století zámek vlastnila továrna SEPAP, n. p. Štětí, jež zde chtěla zřídit školící středisko, ale plány na rekonstrukci objektu nebyly nikdy realizovány. Po sametové revoluci zůstal již prázdný a postupně zpustl. Nepomohl mu ani prodej do soukromých rukou, kdy podléhal další zkáze, jíž napomohly rovněž útoky různých vandalů a zlodějů. Z oficiálně zahájené rekonstrukce také nakonec nebylo nic (viz
https://www.pamatkovykatalog.cz/brocno-vesnicka-pamatkova-zona-7665734). V současné době náleží Jiřímu Kafkovi z Prahy. Můžeme si jen přát, že i přes velmi zubožený stav dojde k nápravě a z budovy se stane opět okrasa obce. Nejhorším by bylo to, kdyby dopadla tak jako zámek v Chcebuzi, případně jako mnoho dalších objektů po celém litoměřickém okrese. To by byla opravdu škoda, neboť ze stavebního hlediska je sice v dosti špatném stavu (viz
https://www.rajce.idnes.cz/ohrozenestavby/album/zamek-brocno-sousedni-dum-stetsko), ale stále se dá ještě zachránit.