Sorto sui resti di un termale romano, venne fatto costruire dal duca Antonio nel 1382, su concessione del re Carlo III di Durazzo.
La facciata, formata da grossi blocchi di pietra di travertino, presenta finestre arricchite da trabeazioni e un portone centrale di spiccate dimensioni, rialzato da una lieve scalinata.
La struttura venne distrutta dagli austriaci nel 1707. Infatti, le parti in laterizio della facciata, come il portale, e la torre campanaria sono rimaneggiamenti.
All’interno è presente un cortile a pianta quadrata, circondato da ampie arcate ogivali su pilastri e un pozzo posto su un angolo.
All’interno si conservano testimonianze pittoriche, tra le quali numerosi affreschi: La Disfida di Barletta (De Felice, 1883), La Disputa degli Ebrei, Cristiani e Islam, il ritratto dell’ultima duchessa Isabella che morì senza figli nel 1755 e Il Tondo di Diana Cacciatrice.
Al duca Francesco è attribuita la pavimentazione settecentesca del salone della casa feudale, la cosiddetta ”quadreria”. Tale pavimentazione si presenta con mattonelle maiolicate che al centro andavano a comporre lo stemma degli Oliveri.
Nella prima metà del 1800 il duca Francesco Oliveri istituì ad Acquaviva il “Teatro San Francesco”, un teatro pubblico che si trovava in via Beveratoio, cioè l’odierna via Umberto I.