Brough castell va ser construït en el 1090's en una cantonada de les restes d'una fortalesa romana. Va ser un dels castells primers pedra per a ser construït al Regne Unit i alguns de l'espectacle de les parets el patró d'espiga típic de la maçoneria de Norman. El 1174 Brough va ser atacat per la Scottish King, William el Lleó i queda en un estat ruïnós després que va obligar a una rendició mitjançant l'establiment d'incendi al castell. En el 1180 que el castell va ser reconstruït per Teobald de Valoignes que va construir un nou mantenir quatre visibles en el lloc de l'anteriorment destruït.