Til sent på 1500-tallet var de fleste av lav lyver bakken mellom Rye og Winchelsea en grunne havnen, kalt Camber, beskyttet fra havet av en lang rekke shingle banker. Mellom 1512 og 1514 Sir Edward Guldeford bygget en sirkulær tårnet på slutten av en av disse shingle spits å forsvare havnen. I 1538 trusselen om invasjon fra katolske Frankrike og Spania ledet Henry VIII til å bygge en kjede av artilleri fortene langs den sørlige kysten å beskytte sårbare og strategiske områder. Den eksisterende tower på Camber ble innlemmet i en ny festningsverk bygget mellom 1539 og 1544. Men slottet var å har en svært kort aktive liv. Ved slutten av 1500-tallet silting av Camber gjort slottet i stor grad foreldet og 1637 garnisonen ble oppløst. Oppgivelse av slottet har det tidlig betydd at i motsetning til andre ha fortene, som Walmer Castle, som har blitt betydelig endret gjennom århundrene, ved Camber Castle den opprinnelige utformingen fortsatt.