Caernarfon oedd canolfan hynafol Gwynedd, ac ar ôl trechu tywysog olaf Cymru yn 1283 dechreuodd Edward I godi'r mwyaf o'i gestyll yng Nghymru, i fod yn yn gaer frenhinol a chanolfan lywodraethol. Daw enw Tŵr yr Eryr a welir yma o'r eryrod carreg darniog ar ben y tri thyred, ac mae'n sicr iddo gael ei gynllunio ar gyfer Cwnstabl Caernarfon. Er na chafodd ei orffen, parhawyd i ddefnyddio'r castell yng nghyfnod y Tuduriaid, ond erbyn i Ibbetson deithio drwy Ogledd a Gorllewin Cymru yn ystod yr haf 1792, roedd y castell yn furddun ers yn agos i ddwy ganrif.