Fram till slutet av 1500-talet var de flesta av låg ligger marken mellan råg och Winchelsea en ytlig hamn, kallas Camber, skyddas från havet genom en lång serie av singel banker. Mellan 1512 och 1514 Sir Edward Guldeford byggt ett cirkulärt torn i slutet av en av dessa singel spetten att försvara hamnen. 1538 Invasionshotet från katolska Frankrike och Spanien ledde Henrik VIII att bygga en kedja av artilleri forten längs den södra kusten att skydda sårbara och strategiska områden. De befintliga tornet vid Camber införlivades med ett nytt fort byggdes mellan 1539 och 1544. Slottet var dock ha en mycket kort aktivt liv. i slutet av 1500-talet gror av Camber gjorde slottet till stor del föråldrade och i 1637 garnisonen upplöstes. Detta tidigt har nedläggning av slottet inneburit att till skillnad från andra Henrician forten, till exempel Walmer Castle, som har ändrats avsevärt under århundradena, Camber slott den ursprungliga designen fortfarande.