In origine la torre era inserita in una struttura fortificata molto più complessa, racchiusa in un recinto di mura difensive, dentro il quale c’erano altri edifici, tra cui una chiesa dedicata a San Geminiano (oggi non più esistente) e un pozzo, di cui si conservano ancora i resti.
Questo castello, come le molte altre fortificazioni della zona, aveva una funzione di difesa della pianura, godendo di un’ottima visuale dalla cima del colle.
I conti de Martinengo godettero di una posizione di potere per molto tempo dal momento dell’acquisto del Castrum, ma le lotte tra famiglie che si svolsero nel XIII secolo fecero cadere i conti in rovina, perdendo la loro influenza sul territorio, a favore di altre famiglie: Vertova, proprietari del castello, i Capitani di Scalve e gli Zoppi, che possedevano il “Pavione” (oggi Palazzo Gout) il la torre con il suo "Rasetto".
