Na místě dnešního zámku stávala nejprve dřevěná tvrz, která byla posléze přestavěna na hrad. První písemné doklady o existenci hradu pocházejí z roku 1360, kdy se jeho majiteli stali páni z Letovic a Ronova. V roce 1424 byl hrad dobyt a zničen husity. 

Hrad byl v následujících letech v državě několika rodů a byl často přestavován. Bohužel v roce 1724 městečko Letovice i zámek vyhořely. Zámek byl postupem času opravován – zámecký interiér, konírny, letní a zimní jízdárna, úprava středověké věže, zámecká zahrada apod. Po druhé světové válce se stal zámek majetkem města Letovice a v rámci restitucí po roce 1989 byl zámek navrácen hraběti Alexandru Kálnokymu, který ho následně prodal Bohumilu Vavříčkovi z Boskovic, který postupně rekonstruuje zámek s cílem zachránit jej pro budoucí generace.