Abbiamo detto con delle interruzioni, perché, a più riprese, Valdagno passò, per vicende d'armi, dalle mani dei Trissino in quelle di altri feudatari e cioè vicentini, veronesi e padovani. Per primi se ne impadronirono i vicentini nel 1260 col Podestà Guido Bazelero di Bologna, in quella che i cronisti del tempo chiamarono la "Guerra di Valdagno".
Vicenza, dopo questa guerra, rimase signora del paese per molti anni. I Trissino infatti nel 1266 - con l'aiuto degli Scaligeri di Verona, anch'essi ghibellini e perciò nemici di Vicenza che era guelfa - riconquistarono Valdagno e il castello di Paninsacco, loro principale baluardo.
Un'altra interruzione del dominio dei Trissino, della durata questa di circa 50 anni, ebbe inizio verso il 1291, quando Vicenza, passata sotto il potere di Padova che era in guerra contro gli Scaligeri, amici dei Trissino, strappò a questi il territorio di Valdagno e lo conservò fino al 1340.

Tra i tanti episodi di questa guerra legati al castello di Paninsacco, ricordiamo quello tragico ed interessante della lotta tra Enrico Miglioranza ed icugini Morando di Paninsacco per la divisione del feudo. Dopo una guerra ricca di alterne fasi, nel 1291, Enrico Miglioranza si chiudeva nel castello di Paninsacco e là attese l'assalto del cugino nemico Morando di Paninsacco al quale avevano dato manforte i Padovani.
Circondato il colle, i vicentini e i padovani, usciti dal Carroccio, espugnarono la rocca e, fatto prigioniero Enrico con i suoi seguaci, lo condussero a Vicenza ove venne, assieme ai suoi fratelli fedeli, decapitato in Campo Marzio alla presenza di una folla inferocita.
Con la morte di Enrico Trissino finisce anche la storia del castello che pare sia stato distrutto nel 1514 durante la guerra tra la Repubblica Veneta e i Trissino i quali si erano alleati ai Milanesi.
La torre del castello poi, che si innalza a nord-ovest del tempio di Santa Maria quasi nel mezzo del castello, deve essere stata costruita contemporaneamente. Essa dominava tutta la posizione e dalla robusta base, che ancora resiste al tempo, si può pensare che fosse ben alta e che dalla sua cima si potesse osservare tutta la Valle dell'Agno.

Castello e torre furono lasciati in abbandono dai nobili Zon di Venezia, quando nella prima metà del secolo scorso, ne divennero proprietari, essendosi spento il casato degli Andrighetti. Nel 1876, la contessa Zon, vedova Marcello, vendette ai fratelli Marzotto e all'Ing. Dalle Ore Luciano tutte le sue proprietà in questi luoghi, meno il Tempio e la vetta del colle Paninsacco.