Farnham slottet ble bygget av Henry av Blois, biskop av Winchester, i første halvdel av 1100-tallet. Lite er kjent om dette tidlig slottet annet enn det hadde et tårn, muligens laget av stein, på toppen av en stor motte. Dette ble revet på ordre fra Henrik II i 1155, men nyere arkeologiske utgravninger har avdekket store kjelleren og grunnlaget for det opprinnelige tårnet i sentrum av motte. Slottet ble gjenoppbygd i slutten 1100-tallet og tidlig 13 århundrene, med den tidligere motte helt omgitt av en shell-holde, og en ytre kledningen bygget. Avstanden mellom veggen av grensesnittet Behold og bakken av motte ble fylt ut en gang på 1200-tallet.