Il Palazzo Baronale, conosciuto come Dimora dei Baroni, è situato in Piazza Majone e risale probabilmente al secolo al XV secolo.
Il barone Giovanni Antonio Parisio fece costruire le carceri e la casa Pretoria nel 1653. Altri ampliamenti, sempre sul lato destro, oggi palazzo Majone no. 48, furono apportati dal barone Carlo de Taxis verso il 1710. Costui, tra l’altro, fece anche sostituire le baracche in legno dell’antistante piazza-mercato con quelle attuali in muratura con porticato spagnoleggiante. Il castello normanno fu incorporato da altre costruzioni dai baroni Petra (1728 – 1811) che vi costruirono sul lato sinistro fino al numero civico 22 di corso Vittorio Emanuele, dove fecero erigere anche una cappella di famiglia intorno al 1750.
Le segrete, situate a trenta metri di profondità, raggiungibili con scalini in pietra di tufo, sono state esplorate dal gruppo archeologico G. Chianese e trovate in buono stato di conservazione ad eccezione degli scalini incerti in alcuni punti.
Sul retro del palazzo baronale vi era un ampio giardino che subì una prima decurtazione a fine Ottocento in seguito al prolungamento di via Micillo da mettere in comunicazione con via Orologio. Il rimanente giardino da qualche decennio è diventato Villa Comunale.
Il palazzo baronale, attualmente in ristrutturazione, è stato di recente acquistato dal Comune per collocarvi la biblioteca, un centro culturale e la villa della Musica.