Il castello di Carovigno sorge in posizione eccentrica, sul punto più alto del paese e per questo strategicamente più adatto alla difesa. Si presenta a pianta triangolare con una torre quadrata sul vertice meridionale, una circolare sul vertice occidentale e la torre a ogiva o a “mandorla” situata a nord-ovest.

Del primo impianto del castello, databile intorno al 1100, non rimangono tracce visibili, perché in piena età aragonese il primo nucleo fu inglobato in una successiva torre quadrata di più ampie dimensioni. In età angioina per volere dell’allora Principe di Taranto Raimondo del Balzo Orsini e della moglie, la contessa di Lecce, Maria d’Enghien (NL), fu costruita la torre circolare, utilizzata all’epoca dal capitano di ventura come sala da ricevimento, sala privata e sala di giustizia. La struttura circolare adesso non è interamente visibile, a causa delle costruzioni che nel tempo le sono state affiancate. Il torrione a mandorla posto sullo spigolo nord-ovest fu fatto costruire intorno al 1500 dai Loffreda, feudatari a Carovigno in questo periodo, come testimonia la presenza dell’arma di matrimonio di Pirro Loffreda murata nella stessa torre. Suddetta torre progettata per la difesa ad oltranza dall’architetto senese Francesco de Giorgio Martini, conferì al castello la peculiare forma triangolare, che rimarrà immutata nel tempo nonostante i numerosi interventi di restauro.

L’aspetto attuale, così come il cortile interno, rispecchia la ristrutturazione novecentesca voluta dai Dentice Principi di Frasso (Rieti), ai quali il Castello deve il nome. Con i Principi Dentice di Frasso il Castello tornò all’antico splendore dopo anni di degrado e abbandono. Sono tutt’ora osservabili, dislocati all’interno della fortezza, stemmi araldici che rimandono alla presenza dei Dentice a Carovigno fino al 1961. L’anno seguente il castello fu venduto e acquistato dall’Amministrazione Provinciale di Brindisi, la quale lo diede in gestione al Comune di Carovigno.