Centro simbolico del potere civile è il Castello detto di Alboino, risalente all XI° secolo e ricostruito nel Cinquecento. Anticamente era più esteso di quanto non appaia oggi, giungendo sino a via Luzzo, sulla quale estendeva un’azione di vigilanza.

Dalla piazza lo si raggiunge attraverso Salita Niccolò Ramponi. Alla prima curva della salita si incontrano le vecchie Scuderie, dette napoleoniche, che dal 2006 sono adibite a spazio pubblico e a luogo di studio e ricerca. Delle 4 torri di cui era fornito il castello ne rimane solo una, il Campanon, simbolo della città e punto di riferimento paesaggistico, maestoso tanto da essere visto da lontano. Il castello ha mutato la sua struttura anche in seguito alla costruzione delle fontane lombardesche fra il 1487 e il 1497.

Un tempo vi si entrava da ovest, in corrispondenza della Torre dell’Orologio, che ne sigillava l’antico ingresso. Dal 16° secolo fu utilizzato come arsenale. Risale al 1518 la decorazione affrescata esterna attribuita al Luzzo. Appartiene allo stesso periodo la realizzazione dell’apparato decorativo interno della Sala d’Armi e dell’attiguo salone, forse per mano di Marco da Mel o di Lorenzo Luzzo. A quest’ultimo è più facile attribuire la fascia decorativa dei fregi, busti e grifi alati. Il completamento dell’apparato decorativo venne eseguito, secondo alcuni studiosi, da Pietro de’ Marascalchi.