Rappresenta uno dei più imponenti esempi di architettura militare fortificata esistenti in Italia.

In origine esisteva sulla sommità della collina una torre quadrata, inglobata intorno al XII sec. nella rocca costruita dalla famiglia dei Prefetti di Vico. Il Ducato venne in possesso della famiglia Orsini all'inizio del XV sec. ed intorno al 1470 Napoleone iniziò la costruzione dell'attuale castello, portata a termine da suo figlio Gentil Virginio.

Un successivo restauro, voluto da Paolo Giordano I, nella seconda metà del 1500, ebbe lo scopo di adeguare la costruzione alle più potenti artiglierie. Il castello ed il borgo furono assediati invano dal figlio di papa Alessandro VI Borgia nel 1497.

Nel 1696 il castello passò alla famiglia Odescalchi e, dal 1803 al 1848, alla Famiglia Torlonia, rientrando poi in possesso degli Odescalchi che ne detengono tuttora la proprietà.

L'ultimo radicale restauro fu effettuato alla fine del XIX secolo su progetto dell'arch. Raffaele Ojetti.

Il castello si presenta oggi completamente arredato con mobilio antico e presenta al suo interno pregevoli affreschi.