Farnham castell va ser construït per Henry de Blois, bisbe de Winchester, durant la primera meitat del segle XII. De poc es coneix sobre aquest castell principi altre que tenia una torre, possiblement fet de pedra, a la part superior d'un gran motte. Això fou enderrocat sota les ordres d'Enric II el 1155, però recents excavacions arqueològiques han revelat el gran soterrani i Fonaments de la Torre original al centre de la motte. El castell va ser reconstruïda en els finals 12 primers 13 segles i, amb la motte anterior totalment envoltat per quedar-se un intèrpret d'ordres i un mur cortina exterior construït. Keep l'espai entre la paret de la closca i les pistes d'esquí de la motte van ser omplert en algun moment al segle XIII.