Prvním, co tu stálo, byl hrad na kopci nad obcí, který vznikl někdy ve 13. století, pokud ne mnohem dříve. První doložená zmínka o Potštejně pochází z roku 1259 z listiny privilegií města Litomyšle, v níž se jako svědek objevuje Půta z Potštejna. Další dochovaná písemná zmínka je z roku 1312, v níž se píše o Prockovi z Potštejna a jeho synovi Mikuláši, který se kvůli neshodám s králem Janem Lucemburským dal na dráhu loupeživého rytíře. Přítrž jeho řádění udělala teprve trestná výprava císaře Karla IV., kdy byl v roce 1339 hrad dobyt a Mikuláš z Potštejna zahynul pod strženou věží. Nejslavnějším obdobím pro hrad se stal rok 1495, kdy Potštejn koupil Vilém z Pernštejna a následně se rozhodl hrad přestavět.
Protože hrad zabíral celé návrší, vznikly všechny hospodářské objekty rovnou v městečku. Panský dvůr se nacházel přímo na místě dnešního zámku, čehož důkazem mohou být dochovaná sklepení pod východní a severní stranou. Silnost jejich zdí ukazuje, že nešlo o pouhý hospodářský dvůr, ale mohlo jít původně o menší tvrz a sklepy mohly být jejím přízemím.
Sám potštejnský poplužní dvůr byl poprvé zmíněn v roce 1556, kdy koupil Arnošt, rýnský falckrabě a bavorský vévoda, pernštejnské majetky – zámky Potštejn, Litice a Rychnov se všemi poplužními dvory, jinými hrady, tvrzemi, městy a vesnicemi. Tento falckrabě byl pouhým překupníkem, a tak hned 14. prosince 1558 prodal zámek Potštejn a zdejší poplužní dvůr s ostatními majetky Václavu Hrzánovi z Harasova a na Jenštejně, který nechal dvůr renesančně upravit.
Po letech rozkvětu však v 17. století přišel hospodářský úpadek a spolu s hradem začal pustnout rovněž i dvůr s celým městečkem, což začalo za třicetileté války a pokračovalo dlouhou dobu rovněž po jejím ukončení. Noví majitelé – Zárubové z Hustířan – provedli další přestavbu dvora. Památkou na to je většina kleneb na zámku.
V roce 1746 koupil potštejnské panství Jan Ludvík Harbuval, hrabě Chamaré, který však nechtěl sídlit na hradu, ale rozhodl se vybudovat potřebné sídlo přímo v Potštejně. Základem pro stavbu zámku se tak stal původní hospodářský dvůr, který již od předchozích přestaveb připomínal cosi mezi hospodářským dvorem, tvrzí a zámkem současně. Architekt Josef Jäger ho přebudoval v barokní čtyřkřídlou jednopatrovou stavbu, jež obklopovala nevelké čtvercové nádvoří. V té době došlo též k výškovému sjednocení jednotlivých křídel a vybudování mansardové střechy. Kvůli sloupovému vestibulu bylo přebudováno vstupní východní křídlo a v západním křídle vznikl převýšený hlavní sál. Uprostřed jižního křídla byla situována kaple Nejsvětější Trojice v půlkruhovém rizalitu. Na vstupním průčelí byl vybudován portál rámovaný balkonem na sloupech. Vstup byl rovněž ozdoben erbem majitele panství, jeho manželky a letopočtem 1749, kdy došlo k dokončení tohoto zámeckého křídla. Celý zámek byl dokončen roku 1755. O 2 roky později byly zahájeny práce na úpravách okolí a na založení zámeckého parku. Ty byly zakončeny v roce 1772 ohrazením parku kamennou zdí.
Jan Ludvík Harbuval pán na Potštejně a na Nových Hradech v Chrudimsku zemřel roku 1764. Barbora z Saneku, vdova po něm, vystavěla na jeho památku ve zpustlém hradě kostelíček sv. Jana Nepomuckého a kapličky křížové cesty mezi hradem a městečkem. Majetek posléze převzal Jan Antonín Harbuval, hrabě z Chamaré, jenž se oženil s Marií Annou baronkou Dobřenskou z Dobřenic. Zemřel 17. února 1808 a vdova po něm byla poručnicí svých dětí až do roku 1825, kdy se děti rozdělily o zděděné majetky. Panství tak 1. ledna 1826 převzal Jan Antonín Harbuval, hrabě Chamaré. Jím 31. srpna 1849 rodina Chamaré vymřela po meči a dědička panství Alžběta Harbuvalová se provdala 7. ledna 1851 za Prokopa Jana Dobřenského z Dobřenic. Tímto sňatkem panství přešlo do rukou známého šlechtického rodu Dobřenských z Dobřenic, kteří v 19. století několikrát upravili fasády zámku i sám zámecký park a drželi Potštejn až do roku 1945, kdy jim byl veškerý majetek zabaven na základě dekretů prezidenta Edvarda Beneše. František Jindřich Dobřenský, který byl po matce Marii z Wenckheimu polovičním Maďarem, zažádal totiž roku 1942 o maďarské státní občanství, čímž se po osvobození stal kolaborantem.
V letech 1945-1946 byl zámek jako majetek státu pronajat britskému velvyslanectví a rekreovat se sem zajížděl tehdejší velvyslanec Philip Bouverie Bowyer Nichols. V roce 1949 připadl zámek Revolučnímu odborovému hnutí a konala se tu zejména školení jeho funkcionářů a pracovníků. Tato doba byla pro objekt zhoubou, protože původní šlechtické pokoje byly přestavěny na posluchárny či ubytovací místnosti. Interiérové vybavení s nábytkem bylo z části odvezeno do různých depozitářů, z části zničen a různými jednotlivci rozkraden. ROH působilo na zámku do roku 1989, kdy se budova stala vlastnictvím podniku Kancelářské stroje Hradec Králové. O rok později zámek spravovala a využívala jako hotel a konferenční centrum společnost Bienvenue s. r. o. 5. a 6. listopadu 1993 zde například proběhlo jednání výkonné rady ODS.
Po neúspěšné privatizaci v roce 1994 byl zámek opuštěn a začal chátrat. Fond národního majetku ho 1. října 1994 prodal za 20 milionů dosavadnímu nájemci a majiteli rychnovské cestovní kanceláře Exoticartour s. r. o Zdeňku Paďourovi, ten však jeho kupní cenu neuhradil, a tak ho musel FNM vrátit. Navíc v něm nechal v období vegetace neoprávněně pokácet 11 vzrostlých stromů, zejména 100letý březovec trojtrnný, 100letou borovici vejmutovku a 80letý modřín opadavý. Za to byl 27. ledna 1998 odsouzen rychnovským okresním soudem na 6 měsíců odnětí svobody se zkušební dobou na 2 roky a k peněžitému trestu 20 000 Kč. Roku 1996 byla vyhlášena veřejná dražba zámku čp. 1, který se v roce 1997 stal opětovně státním majetkem. Ve 2. kole veřejné dražby roku 1997 koupila zámek za 4,5 milionu brněnská společnost PANDA Medic s. r. o. s omezením, že Fond národního majetku má 10 let předkupní právo, navíc by musel být zámek nejdříve nabídnut okresnímu úřadu. Neoprávněně se následně stala jeho vlastníkem akciová společnost Zámek Potštejn Brno a jednalo se o dalším převodu, tentokrát na fyzickou osobu - Ing. Pavla Klimeše z Brna.
Po různých spekulantech nakonec v roce 2004 zámek zakoupili manželé Mgr. Lenka a Zdeněk Nováčkovi a následně se pustili do oprav areálu, jehož vlastnictví převedli na svou společnost KAST s. r. o., resp. Zámek Potštejn s. r. o. O 2 roky později ho zpřístupnili veřejnosti, a to okruhem - jídelna, pracovna, kaple, ložnice, dětský pokoj a modrý salón, který se později dále rozšiřoval. 12. června 2010 došlo rovněž ke slavnostnímu otevření obnoveného zámeckého anglického parku. 1. července téhož roku byla vamberským farářem P. Jiřím Márou opětovně vysvěcena zámecká kaple. V roce 2012 proběhla rekonstrukce fasády čp. 14 v zámeckém areálu zámku a 2. zámeckého podlaží, kde byl otevřen zámecký hotel v podobě 2 dvoulůžkových pokojů a 3 apartmá s kapacitou 16 lůžek. Více informací o zámku nalezneme zde:
https://www.zamekpotstejn.cz/cs.