Llansteffan Castle ligger på en kulle söder om byn, med utsikt över flodmynningen Tywi. Det var en av en kedja av slott normanderna byggde för att skydda floden munnen i början av 1100-talet. Men dess historia som ett fäste går tillbaka mycket längre, med det normandiska slottet att dra nytta av de befintliga markarbeten av en järnåldern fästning. Som många andra slott i regionen dess tidigaste historia präglas av upprepade attacker och fånga av walesarna. Först omnämnandet av slottet finns i 1146 när det erövrades av de tre prinsarna av Deheubarth.