風光明媚な三浦半島の情景を凝縮したような景観で知られる、鎌倉時代以来の景勝地である。漁業、軍事、交通、文学に深く関わってきた多面的な歴史を持っており、大正時代に北原白秋の『城ヶ島の雨』（後述）が評判を呼ぶと、ロマンの島として全国に名を知られるようになった。大正末期から終戦までは東京湾要塞の一部として砲台が存在したが、戦後に城ヶ島公園として開放された。現在は磯釣、磯遊びに適する行楽地として知られる他、三崎と共に海を囲み、遠洋漁業基地三崎漁港の一角を成す。 三崎との距離が約500mと近いため、歴史的にも三浦三崎の一部と言える存在である。かつては三崎仲崎岸壁より出ていた渡し舟が唯一の渡島手段であったが、1960年に城ヶ島大橋が開通すると三崎との一体化は一層進行した。
古代?中世までは「尉が島」「尉ヶ嶋」等と称され、「城ヶ島」と呼ばれるようになったのは中世以降とされる。 「城ヶ島」となった由来・時期は諸説あり、
尉（律令制度の役職）という者が住んでいたので尉ヶ嶋と呼ばれていたが、源頼朝が「城ヶ島」に改めた（『三浦郡神社寺院民家並古城旧跡』）
戦国時代に房総の里見義弘がこの島に砦を築いた頃に「城ヶ島」と呼ぶようになった（村井玄斎『桜の御所』）
源頼家が遊覧した際、「尉」を「城」に改めた（『俳諧三崎志』）
などがある。 里美義弘の説は明治時代の観光パンフレット「相州三浦半嶋案内」でも紹介されており、かつては多くの人が島名の由来を知っていたと思われるが、現在では地元でも知る人が少なくなった。
黒潮の影響で冬でも温暖な太平洋岸気候であるが、海からの風が常に吹いている。暴風時には太平洋岸は非常に激しい海象となり、人を全く寄せ付けなくなる。翻って三崎側の海面は本島が天然の防波堤として機能するため、比較的穏やかである。このことが三崎漁港を古来から避難港、風待港として天然の良港たらしめている。
島の東西で岩質が異なり、東部は初声層（約400?300万年前に堆積したスコリアと軽石質砂礫からなる凝灰岩）、西部は三崎層（約1,200?4,000万年前に堆積した凝灰質シルトとスコリア質凝灰岩の互層）から成り、島のほぼ中央に断層が通る。度々発生する大地震によって隆起を繰り返したためか、岩礁には褶曲等の地質学的に貴重な露頭が多く、コツコツと岩石を叩く地質学者や学生の姿がよく見られる。日本の地質百選選定委員会（事務局：特定非営利活動法人地質情報整備・活用機構、社団法人全国地質調査業協会連合会）による「日本の地質百選」にも選ばれている（2007年）。
標高30m程の平坦な台地が大部分を占め、沿岸部で急激に海に落ち込んでいる。海岸は島の東西端部に岩礁地帯が広がり、所々に砂浜がある。太平洋側の赤羽根崎より東側は険しい海食崖が発達している。元来、沿岸部に平坦な場所が殆どない地形である。
北岸と南岸では全く異なる土地利用がなされている。
三崎漁港に面し、ひなびた漁港風景が広がる。遊ヶ崎（城ヶ島大橋の下）より東側は研究所、造船所、マリーナなどの比較的規模の大きい施設がある。西側は住民の生活の場である。西端の城ヶ島灯台周辺は土産物店が軒を連ねる観光中心地になっており、京浜急行電鉄グループによってホテル、バス停留所（起終点）、油壺へ向かう観光船発着場などが整備されている。
かつての北岸には、遊ヶ崎、酔女ヶ浜などの砂浜があった。特に、遊ヶ崎は現在の白秋碑苑付近から大駐車場に至る大きな砂浜であった。大正時代までは遊ヶ崎海水浴場として大いに賑わっていたが、1923年9月1日の関東大震災によって衰退、その後、城ヶ島砲台（後述）の設置が決まって遊興地としての佇まいは失われることになった。
戦後、急激な復興を遂げた三崎漁港の施設用地不足解消のため、県営埋め立てが始まった。埋め立てには三崎漁港の浚渫土砂が使われ、西側（現在の観光船発着場付近）から3つの地区に分けて行われた。途中、城ヶ島大橋の架橋後に東側海域も埋め立てられ、蛇島などの景勝が消滅した。現在では島面積の19%が埋立地となり、北岸の自然海岸は遊ヶ崎の白秋碑苑付近、水っ垂れ?安房ヶ崎間、西端の楫の三郎山周辺にわずかに残るのみである。
結果、現在の北岸は古来の面影を全くと言って良いほど残していないが、戦前から広く知られた景勝地のため、当時の絵葉書などに多くの写真が残されている。それらを見ると、城ヶ島と三崎との距離は現在よりも遥かに遠く、松の生えた奇岩に波が砕け、白砂青松を絵に描いたような景色であったことを窺い知ることができる。また、江戸時代の絵画にもよく登場しており、1812年に浦賀の加藤山寿が著した『三浦古尋録』などに当時を偲ばせる絵図が残っている。
太平洋に面し、沖合に伊豆大島を望む。自然がそのまま残されており、人工物とは縁の無い世界である。自動車も近づけないため、船の航行音以外に人工音は聞こえない。東西を結ぶハイキングコースが整備されている。 赤羽根崎より東側は海食崖が発達し、人は容易に近づけない。このため、ウミウ、ヒメウ、クロサギの繁殖地となっており、神奈川県の指定天然記念物となっている。この繁殖地は城ヶ島公園から崖上を通って灯台に至る道中から望むことができる。 城ヶ島公園内から海辺に降りることもできるが、かなり険しい道である。また、海岸も波食棚が発達していて歩きにくく、ハイヒール等では危険である。 赤羽根崎より西側は砂浜と広大な岩礁地帯（隆起海食台地）があり、典型的な海岸段丘を形成している。岩場としては比較的なだらかで、西へ進むと城ヶ島灯台に出る。 南岸は普段は静かなため、夏場にはキャンプをする人が多い。しかし、外海に直接面しているため、暴風時には岩場よりも高い波が押し寄せる強烈な海象となる。また、遠方で津波が発生した場合、島に近づくにつれ急に波高を増して襲ってくるが、背後に急峻な崖が迫った逃げ場のない場所であることを忘れてはならない。
