Pendant la domination des Visconti de Milan, qui prirent la place des Della Scala pendant quelques années, le nouveau bastion défensif de Castel San Pietro fut construit. Le château de San Martino devint donc le « vieux château » (Castelvecchio)
Au début du XIXème siècle, pendant l’occupation napoléonienne, le château fut fortement transformé pour être adapté en arsenal et caserne