Sorge sulle rovine di una precedente costruzione, citata nei documenti del sec. XIII come domus (semplice casaforte), di cui sono visibili pochi resti nella Sala del Pergolato.

Castello e antico borgo si elevano di circa 80 m. rispetto al fondovalle, ove scorre il torrente Parma.

La rocca è difesa da tre cerchia di mura e da quattro torri angolari (Leone, Giglio, S. Nicomede e della Camera d’oro) con beccatelli e caditoie (apparato di difesa piombante o a sporgere).

L’impianto originario si conserva pressoché inalterato poiché il castello fu pensato non solo come struttura difensiva ma anche come dimora isolata per il Conte stesso e la sua amante Bianca Pellegrini di Arluno.

Il compromesso tra la funzione militare e quella residenziale l’ha preservato dagli stravolgimenti strutturali e dalle aggiunte comuni a molti edifici nati come fortilizi o cittadelle e successivamente modificati per ricavarne abitazioni nobiliari, al termine delle lotte feudali.

Alla morte del Rossi il castello passò al figlio legittimo Guido, poi fu oggetto di aspre contese, più volte assediato ed espugnato e passò in varie mani (Ludovico il Moro, Pietro di Rohan, Palavicino, Sforza di Santa Fiora, Sforza Cesarini, Torlonia, Cacciaguerra). Acquisito al demanio statale nel 1912, dopo la deprecabile dispersione degli arredi originali ad opera dell’ultimo proprietario privato, è un monumento nazionale tutelato del Ministero per i Beni e le Attività Culturali.

Abbandonato l’esterno rivestito di mattoni, il cui uso è tipico per l’architettura castellare dell’Italia centrale, dalle ancora forti caratteristiche medievali, si raggiunge l’interno dove le decorazioni esprimono tutto il gusto per le decorazioni a “grottesche” che diverranno di moda tra la fine del Quattrocento e l’inizio del Cinquecento.

Dal loggiato della Camera D’Oro, armonica aggiunta cinquecentesca, è possibile godere di una panoramica veduta del torrente, delle colline con i vigneti e della vicina badia.