Fins al final del segle XVI, la majoria de la planta baixa mentida entre sègol i Winchelsea era un port superficial, anomenat la caiguda, protegida del mar per una llarga sèrie de bancs shingle. Entre 1512 i 1514 Sir Edward Guldeford construir una torre circular al final d'un d'aquests shingle escup a defensar el port. En 1538 l'amenaça de la invasió de França catòlica i Espanya va dirigir Henry VIII per construir una cadena de forts d'artilleria al llarg de la Costa Sud per protegir les zones vulnerables i estratègics. Torre de l'existent a la caiguda va ser incorporat a un fort nou construït entre 1539 i 1544. No obstant això, el castell va tenir una molt curta vida activa. a finals del segle XVI la colmatació de la caiguda fet el castell en gran mesura obsoleta i el 1637 va ser desmantellat la guarnició. L'abandonament del castell primer això ha significat que a diferència d'altres Henrician forts, com ara el castell de Walmer, que han estat modificades en gran mesura al llarg dels segles, al castell de caiguda el disseny original segueix sent.