Původně opevněný dům z konce 14. století byl mnohokrát přestavován. Jeho jádrem je jihozápadní nároží ukrývající v sobě majestátní kamenný dům ve městě. Jako další stavby vznikly pozdně gotický palác z konce 15. století a raně renesanční stavení z počátku 16. století. Hlavní velké stavební úpravy byly prováděny v letech 1539–1541. Po odchodu Žerotínů z města roku 1558 zámek svou rezidenční funkci trvale ztratil a sloužil správním a hospodářským účelům.