Ves Poláky je poprvé připomínána roku 1318. Panské sídlo – tvrz je doložena v roce 1546. Její pozůstatky jsou dodnes zachovány ve sklepení nynějšího zámku. Mezi lety 1745 – 1815 nechala hrabata z Pergenu postavit na místě tvrze nový dvoukřídlý barokní zámek. Autorem plánu stavby byl žatecký stavitel Vavřinec Roth. Roku 1928 manželé Anna a Rudolf Hrbáčkovi Hradčovští realizovali přestavbu v novobarokním stylu. Práce prováděl stavitel Antonín Rimpl z Libědic. Tím zámek získal svou nynější podobu.

Po znárodnění objekt sloužil místnímu státnímu statku jako byty, kanceláře a archiv. Po roce 1989 byl zámek navrácen v restituci a následně vystřídal několik majitelů. Žádný z nich však neprovedl ani minimální zajišťovací práce.

Přestože objekt je již 30 let nevyužíván, z hlediska památkové podstaty se dochovala spousta detailů původní výzdoby. Dodnes se z velké části zachovaly zdobné venkovní barokní a novobarokní fasády, původní okna i s kováním, dveře, parketové podlahy i mimořádně působivá štuková výzdoba interiérů. Záměrem obnovy je všechny tyto prvky v maximální míře zachovat a respektovat dispozici i vzhled objektu z doby posledních stavebních úprav roku 1928.

V současné době je zámek zpřístupňován v době konání kulturních akcí.