Il palazzo è composto da più corpi di fabbrica edificati in epoche diverse. Il nucleo originale più antico, secondo documenti storici attendibili, risale all’alto medioevo. Un documento notarile di trasferimento della proprietà del Castrum Vallis, da parte dei nobili proprietari ai canonici Mariani, è datato 15 Maggio 1049 d.C., tuttavia le origini dell’insediamento, in quello che oggi porta il toponimo “Vocabolo Valle”, risultano molto anteriori a questa data.