V Konici sídlili 222 let Švábenicové. Na počátku 18. století byla tvrz přestavěna na zámek

„Poprvé v písemných pramenech máme doloženou tvrz v Konici v roce 1351, ale my se domníváme, že vznikla někdy před rokem 1323, kdy se objevil poprvé přídomek z Konice u majitele, který se jmenoval původně Adam z Choliny,“ říká profesor David Papajík.

Roku 1699 zakoupil tvrz klášter Hradisko a přestavěli ji na zámek. Uvažuje se, že zámek poté sloužil jako letní sídlo opata. Roku 1784 byl klášter zrušen, v roce 1825 zakoupil sídlo textilní podnikatel Karel Příza. Roku 1945 byl zámek zestátněn. Dnes je v majetku města a z velké části přístupný. Sídlí tu městské kulturní středisko a infocentrum, návštěvníci si tu mohou prohlédnout expozice a výstavy. Uvnitř nádvoří čtyřkřídlého barokního zámku vidíme dvě podlaží arkád.