Si trova sul terreno occupato, nei tempi antichi, dall’Acropoli Romana, e, nel Medio Evo, dalla possente Rocca, demolita nel 1446 al termine della dominazione di Alessandro Sforza, con il consenso di papa Eugenio IV, dal popolo infuriato per i soprusi dei vari signorotti che la usavano come presidio e per i frequenti assedi che subiva la città proprio a causa di tale rocca quasi inespugnabile, simbolo e strumento di potere.

Il convento fu quindi acquisito dal demanio, venduto all’asta pubblica ed infine acquistato dal Conte Francesco Paccaroni, di nobile famiglia fermana, che ne entrò in possesso nel 1811. Il nuovo proprietario trasformò l’edificio in residenza gentilizia, senza modificarne la pianta originaria ed utilizzando prevalentemente materiali provenienti dalla demolizione del convento, mentre l’orto e la selva furono adattati a giardino e parco.

Alcuni decenni più tardi, la Villa subì radicali modifiche su progetto dell’architetto Giambattista Carducci (1806 – 1878) che realizzò, tra l’altro, la facciata in stile neoclassico (nel tipico laterizio rosso ampiamente utilizzato nel fermano), l’ampio androne passante al pianoterra e, al primo piano, uno scenografico salone centrale il cui soffitto è ornato da pitture decorative classicheggianti degli artisti fermani Nunzi, Morettini e Maranesi. I disegni originali, a colori, dell´architetto Carducci sono tuttora conservati nella Biblioteca Civica Romolo Spezioli di Fermo.