Il castello ha origine dalla rocca fatta costruire dalla famiglia Di Vico, proprietaria del territorio di Bracciano fin dal XI secolo. Non si conosce il periodo esatto della costruzione di questa prima rocca, ma è ipotizzabile che essa sia stata costruita tra l'undicesimo ed il dodicesimo secolo; un documento del 1234 ne attesta l'esistenza e la proprietà Di Vico.
La rocca aveva probabilmente pianta quadrangolare con torri angolari, un cortile interno ed un mastio centrale; il borgo, che si sviluppava intorno alla rocca, era protetto da un sistema di case a torre. Nel corso della prima metà del XV secolo la famiglia Orsini venne in possesso del territorio di Bracciano e Napoleone Orsini, a partire dal 1470 circa, avviò la costruzione dell'attuale castello ampliando la rocca esistente.
I lavori proseguirono dopo la morte di Napoleone (1480) per volontà di suo figlio Gentil Virginio; la nuova fortezza fu completata con la costruzione di una nuova cinta difensiva che cingeva il borgo, aggiornata alle più moderne teorie di architettura militare, completata intorno al 1480.
Il castello Orsini, perfetta fusione di edilizia militare e civile, rispondeva ad esigenze di difesa ma era anche un fastoso palazzo che denunciava la potenza della famiglia.
Nel 1491 iniziò la decorazione dell'ala nord del castello ad opera di Antoniazzo Romano.
Nella seconda metà del XVI nuovi lavori interessarono il castello per volontà di Paolo Giordano I Orsini; risalgono a quell'epoca gli affreschi di alcune sale ad opera di Taddeo Zuccari.
Nel 1696 il ducato di Bracciano ed il castello vennero in possesso della famiglia Odescalchi, che ne è l'attuale proprietaria.
Nuovi radicali lavori di restauro furono eseguiti a partire dal 1890, sotto la direzione dell'architetto Raffaele Ojetti. I principali interventi riguardarono il ripristino della rocca vecchia, la riapertura dei loggiati del cortile interno precedentemente murati ed il restauro dell'arco di accesso al cortile. Sotto questo arco era posto l'importante l'affresco di Antoniazzo Romano raffigurante scene della vita di Gentil Virginio, staccato nel 1964 e posto nella sala dei trofei di caccia.
Molti importanti personaggi hanno soggiornato nel castello: tra questi il papa Sisto IV, rifugiatosi a Bracciano nel 1476 per sfuggire alla peste, ed il re di Francia Carlo VIII, ospitato a Bracciano nel 1494 nel corso della sua spedizione italiana.