U prvoj trećini XVII. stoljeća, baronesa Elizabetta Barbo, kći Ludovica Ambrosija Barbe se udaje za baruna Carla Panizzolija i udajom mu donosi gospoštiju Klana u miraz, a zbog austrijsko-mletačkog rata najvjerojatnije na zahtijev carske komore, grade se nove ugaone kule na način da su stare kružne kule dijelom pregrađene, a dijelom porušene, nakon čega su izgrađene nove s mnogo debljim zidnim plastom trapezastog tlocrta.