É um edifício do século XV (1410-1446), construído para receber D. Afonso, primeiro Duque de Bragança, filho ilegítimo de D. João I, que casou com D.ª Brites, filha do Condestável D. Nuno Álvares Pereira.

Em 1739 o Governador das Armas da Província de Trás-os-Montes, General Francisco da Veiga Cabral, ordenou a construção, sob o palácio ducal, da sede da Guarda Principal e da prisão militar. Em 1978, passou a abrigar, além da biblioteca-museu do duque, o Museu da Região Flaviense.

Possui uma sala principal, onde está exposta a coleção permanente, e uma sala de exposição de pintura dedicada a Nadir Afonso.