Si ritiene che le prime edificazioni sul Monte Fluno del borgo fortificato (denominato Castello) risalgano a prima dell'anno 1000, per difendere la popolazione dalle scorrerie dei Magiari e degli Ungari. Il primo importante rifacimento del borgo fortificato sul Monte Fluno però risale alla seconda metà del XIII secolo. La trasformazione più cospicua, ascrivibile alla fine del XV- inizi del XVI secolo, è tuttavia rappresentata dall'ampliamento della cinta verso Ovest che fece di Pozzolengo, con quasi mq. 10.000 di superficie, il recinto fortificato più esteso del Garda bresciano e uno dei maggiori dell'intera provincia.