Na tomto místě se původně nacházela renesanční tvrz, kterou nechal vybudovat nejspíše Felix Pravětický z Pravětic, pokud nebylo se stavbou započato ještě za jeho předchůdců. Tento šlechtic koupil Stěžery v roce 1551 (mnohé prameny uvádějí nesprávně též rok 1548, tehdy však Jaroslav, Vojtěch a Vratislav, synové Jana z Pernštejna, prodali Stěžery Zdeňkovi Zárubovi z Hustířan) od Zdeňka Záruby z Hustířan. Podle památkářů má renesanční čelní křídlo pocházet z roku 1618, což by znamenalo, že tvrz byla přestavěna či dostavěna až za jeho synů, kteří si Stěžery rozdělili v roce 1589. Roku 1607 zemřel Hynek a o 8 let později měli Stěžery napolovic Adam Pravětický a Hynkův syn Jiřík Pravětický. V letech 1619-1620 se Adam Pravětický provinil tím, že svého syna Hynka s jedním koněm a pěším mužem poslal ke stavovskému vojsku. Byla mu sice udělena milost, ale jeho syn Hynek v roce 1628, když jeho otec již nežil (zemřel předchozího roku), se uvolil, že zaplatí 500 zlatých rýnských pokuty. Tuto částku vykázal k ruce královské pokladny na polovině svého stěžerského statku, k níž náležela tvrz, ves, poplužní dvůr, kolatura, mlýn, rybník Podkostelní, les a příslušenství. Tuto polovinu prodal 1. srpna 1628 Dorotě Pravětické, rozené Ledčarce ze Sionu. Jiříku Pravětickému, který držel druhou polovinu, byla tato roku 1623 zkonfiskována. Po několika vlastnících připadly Stěžery i s tvrzí rodu Harrachů. V roce 1653 byly ve tvrzi 2 prostorné světnice, 2 komory, 2 sklepy (spíže) a loch (vlastní sklep). V následujícím roce je v urbáři zmíněna takto: „tvrz z kamene vystavěná a šindelem krytá a při ní za stodolami Hoření dvůr“. Původní přestavěná tvrz je součástí severního křídla dnešního zámku. 2. července 1745 byl zámek vyplundrován pruskými vojáky. Znovu byla tvrz poškozena za selského povstání 24. března 1775.
Zámek vznikl přestavbou a rozšířením původní tvrze v letech 1802-1803 za Arnošta Kryštofa hraběte Harracha, který dal navíc k tvrzi přistavět západní křídlo a obě křídla získala mansardovou střechu a empírový vzhled. Svědčí o tom zejména klenba velké vstupní síně v přízemí. Je to síťová pozdně gotická klenba vladislavská, jejíž žebra jsou napodobena z malty. Od roku 1803 sloužil zámek jako kanceláře a úřednické byty. V roce 1844 zámek vyhořel, ale byl záhy opraven, a to de facto do dnešní podoby.
Netrvalo však dlouho a zámek opět sloužil jiným účelům. 1. února 1863 byla v objektu otevřena rolnická škola, jejíž studium bylo dvouleté, vždy od 15. října do konce září. 3. července 1866 sloužil zámek jako vojenský lazaret. Zároveň však byl pruskými vojáky vyrabován. Krátce poté došlo ke zrušení rolnické školy. V roce 1887 došlo k vyklizení zdejší účtárny, aby byly místnosti využity pro školní účely. 1. listopadu 1888 byla v zámku umístěna hospodyňská škola, kterou zřídil Hospodářský spolek pro okolí Hradce Králové se sídlem v Kuklenách. Zámek s 2 zahrádkami, chlévem a dřevníky byl najat od Jana hraběte Harracha za 300 zl. ročně (později byl roční nájem navýšen na dvojnásobek). Když tato škola dostala vlastní budovu, byl zámek v roce 1898 opraven a opět změněn v byty úředníků. Roku 1904 byl zámek popsán Antonínem Cechnerem v „Soupisu památek historických a uměleckých v království Českém od pravěku do počátku XIX. století. XIX. Politický okres královéhradecký“ takto: „ZÁMEK byl přestavěn od Arn. hrab. Harracha r. 1802 pro úředníky. Jest to jednopatrová bezvýznamná budova.“
V roce 1913 byl zaveden do budovy elektrický proud. Od roku 1939 sídlila v zámku četnická stanice, která se později přestěhovala do místností nad nad hostincem „Na Růžku“. Objekt náležel Harrachům až do 15. srpna 1940, kdy ho koupila hradecká velkoobchodnická rodina Jirsáků. Alois, Jaroslav a Josef Jirsákovi za něj zaplatili 200 000 K. Následně se pustili do jeho oprav, z nichž nejdůležitější se stala výměna šindelové střechy za eternitové šablony. Hned po osvobození jim byl zámek zkonfiskován a národním správcem se stal zdejší poštmistr František Kašpar.
Později připadl obci, jež ho využívá dosud. Po založení JZD se tu nacházely jeho byty a úřadovny. V letech 1956-1957 došlo k opravě objektu, během níž byl nalezen erb pánů Pravětických (šíp) s letopočtem 1618 a následně zůstal vsazen do severní zdi zámku. Roku 1959 byla obnovena zachovalá část renesanční sgrafitové kobercové omítky. Od 24. ledna 1964 je budova památkově chráněna (viz
https://pamatkovykatalog.cz/zamek-se-sypkou-2301962). V roce 1983 byla zahájena rekonstrukce zámku. 27. února 1986 se do zrekonstruovaného objektu nastěhovala pošta. Po roce 1989 byla podána žádost o restituci objektu rodinou Jirsáků, která vyvolala řadu sporů. Levná a snadná koupě byla nakonec zpochybněna válečným chaosem a od roku 2003 se stala majitelem zámku opět obec, která již v roce 1999 opravila fasádu, okapy a podhledy pod okrajem střechy. V roce 2011 byla vyhlášena veřejná zakázka na opravu zdejších bytů. Ty byly zahájeny následujícího roku a takových věcí okolo zámku je více, neboť obec se snaží o objekt co nejlépe postarat.