Etter mange år med skotske angrep i regionen, William Strickland, som senere ble biskop av Carlisle, ble gitt lisens til å crenellate sin eiendom i 1397. Startet som pele tårn og utvidet til et kvadrat slott bygget rundt et Tun. Mye av utviklingen av slottet ble utført av Ralph Neville, første jarl av Westmorland, som arvet eiendommen i 1419. Ytterligere forbedringer ble gjort av Richard, hertug av Gloucester, under hans tid som løytnant i Nord, før han besteg tronen som Richard III i 1483.