O nastanku cerkve v Kotljah na Koroškem kroži legenda, ki pravi, da sta pred davnimi časi sv. Marjeta in sv. Ožbalt skupaj potovala po Koroški in iskala cerkev, v kateri sta bila določena za patrona. Sv. Marjeta je bila določena za cerkev v Črni, sv. Ožbolt pa za cerkev v Kotljah. Toda pri Kotljah je Marjeto pičila kača in je morala tu ostati, Ožbalt pa je odpotoval naprej v Črno in postal patron tamkajšnje cerkve.

Župnijska cerkev sv. Marjete je lepo ohranjena baročna cerkev z romanskimi temelji. Arhivskih virov o njenem nastanku ni. V Blaznikovi historični topografiji Slovenije imamo omenjeno naselje z letnico 1313 (quet datu Choulach) in letnico 1367, ki govori o kapeli sv. Neže, Primoža in Felicijana. Stavbo so v 18. stoletju temeljito prezidali. Ob baročno enoladijsko prostornino so na severu prislonili nečlenjen (na temelju starejšega zgrajeni) zvonik in pravokotno zakristijo, na jugu pa stavbo razširili s poligonalno kapelo s stolpičem.

Stilno neenotna in skorajda asketska zunanjost cerkve preseneti s svojo vizualno bogato notranjščino in izjemno kvalitetno notranjo opremo. Cerkev se ponaša s kar petimi oltarji s časovnim razponom njihovega nastanka od 17. do konca 18. stoletja. Nedvomno najpomembnejši del cerkvene opreme predstavlja glavni baročni oltar sv. Marjete, levi stranski oltar je posvečen Materi Božji, desni stranski oltar sv. Petru in Pavlu, oltar v levi stranski kapeli je posvečen sv. Florjanu z napisom Hoc aeltare erectum 1662 in oltar sv. Rešnje krvi (okoli 1760) v desni kapeli. Omeniti velja tudi izjemno umetnostno vrednost v cerkvi, psevdobaročno prižnico, prvo in edino ohranjeno delo kiparja Franca Bernekerja na Koroškem, kar potrjuje napis, najden ob renovaciji s podpisom umetnika, »to delo pervo moje« iz leta 1896.

Cerkev je bila v zadnjih osmih letih na pobudo župljanov temeljito prenovljena. Kar štirje oltarji, prižnica in križev pot pa so se obnovili na pobudo in v izvedbi mladih v okviru projekta "Dar za dar".