La colline sur laquelle se dresse le château actuel a toujours été un lieu stratégique pour le contrôle du fleuve Adige et de la ville, il y a des traces de constructions depuis l’époque pré-romaine.
À cet endroit, en 1393, un imposant château a été construit par Gian Galeazzo Visconti, seigneur de Milan, dont les travaux ont entraîné la perte de la plupart des anciennes structures préexistantes. Pendant le gouvernement de la république de Venise, le château a été utilisé comme résidence du commandant militaire