Castell blanc, al costat de Skenfrith i Grosmont, és un dels tres castells aixecat per protegir una de les rutes principals a través de la regió fronterera entre Anglaterra i Gal·les del Sud. En el 1130 finals de King Stephen reunits tots tres castells sota una sola Senyoria que controlaven dels tres castells com una unitat defensiva. Del en el 1180 castell blanc sembla haver estat el primer dels tres castells a ser reconstruïda en pedra. Castell blanc era originalment anomenat castell de Llantilio, però va guanyar el nom nou de la rendició de guix blanc que cobria les parets. a principis del segle XIII que Hubert de Burgh celebrat el senyoriu dels tres castells. Va construir castells de pedra moderns Grosmont i Skenfrith, però va deixar les defenses pedra existents al castell blanc. a diferència dels altres dos castells castell blanc sembla haver estat principalment una posició militar avançada en lloc d'una llar per a una família noble.