Dalla sommità della collina, fin dall'antichità, si poteva controllare tutta la valle, è il più esteso complesso fortificato del Trentino e presenta ancora oggi i segni delle alterne vicende che nei secoli lo hanno interessato.
La prime notizie che lo riguardano risalgono al XII secolo, intorno al 1200 la chiesa trentina diventa proprietaria di una buona parte della struttura.
Un secolo più tardi il castello passa sotto il controllo di Guglielmo II da Castelbarco che ne ristaurò gran parte.
Verso la metà del Quattrocento un altro importante personaggio entra nella storia di questo edificio, Marcabruno II Castelbarco, proprio nel periodo in cui si sviluppa la Battaglia di Calliano, dove millecinquecento veneti furono uccisi e catturati.
Nel Cinquecento dopo un incendio il castello viene ricostruito e rinnovato, mutandosi in Residenza.
Verso la fine del Settecento esso fu nuovamente protagonista di assedio da parte delle truppe napoleoniche, che però vennero sconfitte dopo qualche giorno.
Con la situazione politica più tranquilla la struttura perse importanza e iniziò così un lungo periodo di decadenza fino ad arrivare all'abbandono nell'Ottocento.
Fu poi scoperchiato per non pagare le imposte della proprietà e donato nel 1973 alla Provincia Autonoma di Trento, che lo restaurò e ci fece una sede distaccata del museo del Castello del Buonconsiglio.
La struttura, nuovamente restaurata nella seconda metà del XX secolo, ha forma ellittica che copre tutta la sommità della collina, ed è lungo 250 metri per una larghezza di 50 metri.