Les ruïnes de l'antic castell de Sherborne daten de principis del segle XII, quan el castell va ser construït per Roger de Caen, bisbe de Salisbury. Ell era un home de gran importància que va servir com canceller i posteriorment justícia major de King Henry I. tanmateix quan Henry va morir allà era conflicte per la successió, amb la filla de Henry Matilda discutien al tron contra el seu cosí, Stephen . De Sherborne fou confiscat per Stephen en 1135, i romangué en mans reials fins el regnat de Edward III, quan el bisbe Robert Wyville pagat tornar al castell en mans de l'església. El 1592, la Reina Elizabeth transferit l'arrendament per Sir Walter Raleigh. Tenia poca utilitat pel castell, però qui es feia ús de la finca on va construir una nova residència, Sherborne Lodge, que ara forma part del nou Castell Sherborne més enllà de l'estany al sud.