Scarborough Castle ligger på en ungefär trekantiga udde som stiger 300 meter över havet. Det är bevis på järnåldern bosättningar och resterna av en romersk signal station på platsen, men det första medeltida slottet byggdes av William le Gros, greve av Aumale, 1130's. Han konstruerat en vägg på landsidan av udden och byggde ett torn där håll nu står. När Henry II kom till tronen i 1154 han krävt återlämnande av alla kungliga slott, och Scarborough, som byggdes på en royal manor, var en av de slott som regenererats av kronan.