Srbce jsou obcí zmiňovanou už ve 12. století se znakem odvozeným od erbu zdejších zemanů

Počátky historie vesnice sahají až do 12. století. První zmínka o obci se totiž objevuje už v listině biskupa Jindřicha Zdíka z roku 1141, ve které je uveden pozemkový majetek rovněž v této obci. Světskou část vesnice ovládali zemané Brázdové ze Srbec. Nejstarší známý příslušník rodu Herbort ze Srbec byl komorníkem olomouckého biskupa a je uváděn v listinách už k roku 1307. Pravděpodobným sídlem rodu byl poplužní dvorec, který se v obci uvádí už ve 14. století. Mimochodem, kohoutí hlava, kterou rod Brázdů nosil ve svém erbu je dnes hlavním motivem znaku vesnice.

Pozdější držba obce je poznamenána častým střídáním drobné vrchnosti, která navíc vždy v Srbcích držela jen část vesnice. To platilo až do roku 1481, kdy se podařilo Protivci staršímu ze Zástřizl vykoupit všechny části obce a spojit je dohromady. Navíc pak zdejší statek připojil ke svým državám spravovaným z Mořic, kde obec zůstala až do konce vrchnostenské správy.

V roce 1593 se mořické panství stává majetkem Fridricha ze Žerotína. Za účast jeho dědiců ve stavovském povstání bylo panství po Bílé hoře zkonfiskováno a předáno Lichtenštejnům, kteří je v roce 1633 věnovali vranovskému klášteru mnichů Paulánů.

Pro obec to nebyla převratná doba jen díky proměně vrchnosti, ale probíhající třicetiletá válka znamenala devastaci zdejších statků, a to velmi významnou.

Obec byla klášterním majetkem až do roku 1784, kdy byl klášter Josefem II. zrušen. Zbytkový statek v roce 1819 koupil rakouský arcivévoda Ferdinand d´Este. Mořické panství pak opět měnilo majitele, až v roce 1871 zdejší statek koupil arcibiskup Bedřich z Fürstenberka, který jej věnoval olomouckému arcibiskupství. 

To už existovala samostatná obec Srbce. V roce 1869 zde žilo ve 23 domech 144 obyvatel. Vůbec nejvíce osob zde bydlelo v roce 1930, kdy je v zápise ze sčítání lidu uvedeno 182 trvale bydlících osob. Pak už počet obyvatel klesal a dnes zde žije kolem 85 stálých obyvatel. Srbce patřily k jedné z mála vesnic, kde nebyla obecná škola. Místní děti do školy docházely do Pavlovic, kam chodili také místní lidé do kostela. Měšťanskou školu navštěvovaly zdejší děti od roku 1935 v Němčicích.

Obec byla hlavně zemědělskou lokalitou, přestože celková výměra zemědělské půdy v obci dosahuje jen necelých 140 hektarů.

Přestože jsou Srbce obcí v intenzívně zemědělsky využívané krajině, najdeme zde mnoho zajímavých míst pro volný čas. V samotné obci jsou k vidění zejména drobné památky. Ikonickou je pro obec malá zvonička na trojúhelníkové návsi pocházející z roku 1905. U ní najdeme kříž postavený k výročí padesátiletého panování císaře Františka Josefa.

Kolem obce vedou pěší stezky, které lákají k procházkám krajinou a také k dalekým výhledům. Dovedou poutníka například k soše Panny Marie s Ježíškem na jih od vesnice u malého hájku nedaleko Dřínova či k rozhledně východně od vesnice, odkud je krásný výhled na celé okolí. Kromě toho se v lese kousek od rozhledny skrývá památný dřevěný kříž. Údajně stojí na místě, kde zastřelil hajný pytláka. Jeho společníci se mu za to krutě pomstili, když jej přivázali hlavou dolů nad mraveniště a nebohý hajný brzy skonal v hrozných mukách také.