Výstavbu zámku započala v letech 1699 - 1700 Anna Marie Františka, vévodkyně Toskánská. V baroku se na jeho úpravách podíleli i významní architekti K. I. Dienzenhofer a A. Lurago. V 18. století zámek přešel do vlastnictví Habsburků. Za dobu existence zámku prošla jeho zdmi celá řada významných osobností (např. svržený francouzský král Karel X. a vychovatel jeho syna Ing. Joachim Barrande, či francouzský spisovatel Francois René vicomt de Chateaubriand). V současné zámek patří městu. Sídlí v něm Městský úřad, Městská knihovna a Turistické informační centrum.

Od poloviny 13. století zde stávala tvrz a později hrad vlastněný významnými šlechtickými rody, který posléze po četných dostavbách v 15. stol. patřil k největším hradům své doby s velmi sofistikovaným systémem opevnění, který tvořilo několik mohutných polygonálních věží. Hrad byl pobořen za Třicetileté války, do jeho ruiny se se od 18. století začaly vestavovat domky, které využívaly zbytků hradních stavení, čímž vznikla dnešní unikátní čtvrť Starý hrad. Mezi nejzachovalejší pozůstatky opevnění patří gotická západní brána.