Městečko Dvorce pronásledovaly živelné pohromy i průchody vojáků

Prý snad kolem roku 901 zde bohatí polští kupci, bratři Laczko a Emanuel Dvorcové, vybudovali opevněný sklad pro svoje zboží, kterému dali své jméno. Podle odborníků je však spíše reálně, že se jednalo o ochrannou pevnost právě při této cestě. Jisté je jen to, že zde nám patrně písemné prameny nepomohou, protože ty o Dvorcích mluví až v listině Zdislava ze Šternberka z roku 1339. Tehdy osada ležela na hranicích dvou mocných dominií, šternberského panství a držeb kláštera Hradisko u Olomouce. Nakonec oblast připadla Šternberkům, kteří zde cítili bohatství rud a dalšího zboží.

V roce 1363 už Byly Dvorce městečkem, které mělo od Šternberků zaručená privilegia. Město zůstalo součástí panství Šternberského, byť jeho majitelé se postupně měnili. Po Šternbercích to byli pánové z Kravař, Berkové z Dubé, knížata z Münsterberka ve druhé polovině 17. století i vévodové Würtenberští. Za nich připadly Dvorce k nově zřízenému Kraloveckému panství, které v roce 1699 kupuje rod knížat z Lichtenštejna, jejichž držba dovedla Dvorce až do konce vrchnostenské správy.  

Zajímavé je, že nejstarší listiny mluví přímo ve Dvorcích také o tvrzi. Ta je poprvé zmíněna už ve 14. století, kdy patrně pomáhala s ochranou okolních dolů. V urbáři panství je uvedena ještě v roce 1600 a později už je uváděna jen jako panský dům. Zanikla pravděpodobně za třicetileté války, protože v roce 1664 se uvádí jako pustá. Dodnes není zcela jisté, kde tento objekt vlastně stával.

Město Dvorce bylo už ve středověku obehnáno hradbami. Kromě zemědělství a řemesel bylo zejména centrem těžby kovů a také jejich zpracování. Zmínku o hamrech zde máme už z 15. století. Za třicetileté války díky své poloze Dvorce významně trpěly průchodem vojsk, zejména Švédů. Po válce bylo město hodně zbídačené. Ani v 18. století zde nebyl klid. Kromě průchodů vojsk za prusko-rakouských válek v roce 1751 město zčásti vyhořelo.

Díky rozvoji města na konci 18. století byly zbořeny hradby, ale tragédie se městu nevyhnuly ani ve století devatenáctém. To už bylo celé město i jeho okolí závislé na rozvoji pěstování lnu a plátenickém průmyslu. A právě v pazderně, kde se len upravoval, vypuknul v roce 1834 další požár, při kterém vyhořelo kolem dvou stovek domů v celém městě a sedm lidí zahynulo. Další pohromou byla pro město cholera, kterou sem v roce 1866 zavlekli Prusové, kdy zahynulo dokonce 300 obyvatel města včetně celé městské rady i s purkmistrem.

Dvorce se však postupně stávaly průmyslovým centrem. Ne náhodou právě díky textilní výrobě, kdy zde vznikaly menší firmy, ale působily tady i pily a třeba cihelna. V roce 1870 měly Dvorce 3600 obyvatel, na konci století se počet snížil na 2648, zejména díky odchodu domácích tkalců, které průmysl připravil o živobytí. Po roce 1850 se Dvorce staly součástí okresu Moravský Beroun a byly sídlem okresního soudu, pro který zde byla vystavěna nová budova. Od roku 1898 jezdil do Moravského Berouna ze Dvorců i vlak na úzkorozchodné železnici. Ta však byla pro nerentabilitu zrušena už v roce 1933.

Nejvíce však město postihla druhá světová válka. Kromě toho, že mnozí z místních obyvatel narukovali do německé branné moci a padli na všech frontách, ti co přežili a jejich rodiny museli zdejší kraj opustit. Dosídlení sice začalo okamžitě, počet obyvatel však nikdy nedosáhnul ani poloviny původního stavu.

Přesto jsou Dvorce docela zajímavým cílem pro turisty. Najdeme zde památkově chráněný kostel sv. Jiljí, hřbitovní kapli sv. Kateřiny, památkově chráněnou faru, či kašnu na náměstí se sochou Neptuna. V okolí města najdeme třeba kapli Panny Marie Bolestné či půvabnou krajinu okolo Kružberské přehrady.