Po śmierci Rogera, zamek odziedziczył jego syn- Robert de Belleme, zwany także okrutnym. Nie tylko był niezwykle trudny w obyciu ale także zbuntował się przeciwko monarchii, która podczas jego nieobecności zamek przejęła, a Roberta skazała na dożywotnią banicję. Zamek został przejęty przez króla Henryka I, następnie jego syna Henryka II. Był w rękach rodziny Albinisów, Fitzalanów, Howardów, jest pełen historii, kryzysów monarchii, konfliktów między członkami rodziny, był schronieniem, fortecą obronną, domem dla kolejnych sukcesorów monarchii. Najmłodszym jego właścicielem był 5letni syn Johna Fitzalana i Isobel de Albini- Richard, który odziedziczył posiadłość po zmarłym ojcu. Zamek doświadczył lat krwawej historii, morderstw, egzekucji, otruć członków rodziny, walk o jego przejęcie. Po dziś dzień zamek zamieszkany jest przez spadkobierców Williama de Albimi.