Stavba zámku v Krakovci připomíná původní tvrz. Badatele zmátl malíř Josef Mánes, hledali věž a kašnu

V té době byla v majetku moravských markrabat. Ti ji propůjčovali manům, takže je předpoklad, že tvrz musela vzniknout někdy dříve.

„Markrabata by na manském statku asi tvrz nebudovala, stejně tak ti manové, neboť leníci by neinvestovali do majetku, který jim plně nepatří. Velice pravděpodobně tak tvrz vznikla někdy po polovině 14. století,“ říká historik David Papajík.

Tvrz tak pravděpodobně ještě před tím, než se stala markraběcím majetkem, postavila nižší šlechta.

Jan ze Zástřizl přestavil tvrz na zámek mezi lety 1611–1614, což je  zřejmé z dochovaných nápisových desek.

Malíř Josef Mánes rád pobýval na Hané a přátelil se s místními šlechtici. V roce 1852 vytvořil dva obrázky krakoveckého zámku. Ty zamotaly hlavu badatelům.