El primer castell normand construïda a Lydford poc després de la conquesta del 1066; es poden veure les restes de les seves terres al costat sud de l'església de St Petrock. Una nova torre va ser construïda en 1195, lleugerament al nord del castell original, possiblement per al seu ús com a presó. Sometime al segle XIII, que va ser totalment reconstruïda. A rasa va ser treta al voltant de la torre i el sòl apilats en contra de la planta baixa per a formar un monticle. La part superior de dos pisos es van convertir en un petit mantenir, mentre que la planta baixa era ple in al mateix temps que es va construir el bailey de moviment de terres del nord-oest. Al segle XVIII el castell havia esdevingut degrada, però va ser reparat, i per al proper segle va servir com a presó i jutjats, abans de ser abandonat un cop més i ha permès a caure en ruïna.