Nad trgom so na skali oz. hribu Kamen ohranjene razvaline nekdanjega gradu, ki se v Šentpavelski listini omenja med leti 1193 in 1220 kot »Castrum ad lapidem«.
V 12. stoletju je grad na šentpavelski zemlji pozidal Albert Trušenjski, vendar brez privoljenja šentpavelskega samostana. Leta 1216 se Albert Trušenjski imenuje Mahrenberški (»Albertus de Merienberch«), leta 1251 pa se grad prvič omenja kot grad Mahrenberg (»Merenberch castrum«).
Grad je bil sedež marenberške gospoščine. Po trdnjavi dobi postopoma ime Mahrenberg še naselbina pod gradom. Prej se je imenovala vas Radlje (villa Radela, 1161).
Najznamenitejši predstavnik marenberške gospoščine je bil sin Alberta Mahrenberškega, Siegfried Mahrenberški (»dominus Syfridus de Marenberch«, 1245).
Siegfried je leta 1251 grad Mahrenberg vrnil šentpavelskemu samostanu in si ga dal nato od samostana podeliti v zajem (fevd). Tako je legaliziral protipravno pozidavo gradu s strani svojega očeta Alberta Mahrenberškega.
Po Siegfriedovi smrti 1272 je grad spet prevzel šentpavelski samostan. Nato je zamenjal veliko lastnikov. Med lastniki marenberške gospoščine so bili Habsburžani, Viltuški, Walseeji in deželni knez, ki je posest dajal v zakup. Med leti 1669 in 1782 je bil lastnik mahrenberški dominikanski samostan.
Grad so v 15. stoletju razdejali Turki, večkrat ga je požgala strela, leta 1697 je pogorel in ga niso več obnavljali. Gospoščina se je preselila na obrobje trga, kjer so pozidali nekdanjo grajsko pristavo v t.i. Spodnji grad, danes dvorec Mahrenberg oz. dvorec Radlje.
Prvotno je bil grad romanska stavba obodnega tipa z dvema stolpoma. Lastniki so grad večkrat obnavljali in utrjevali. V gotiki so grajsko stavbo povišali, v renesansi so ji dozidali še druga poslopja, t.i. predgradje. Grad je imel obrambni jarek in dvižni most.
Na skalnati pečini nad Radljami so danes ohranjene le razvaline nekdanjega gradu, ki so bile obnovljene v letu 2013.