黒潮の影響で冬でも温暖な太平洋岸気候であるが、海からの風が常に吹いている。暴風時には太平洋岸は非常に激しい海象となり、人を全く寄せ付けなくなる。翻って三崎側の海面は本島が天然の防波堤として機能するため、比較的穏やかである。このことが三崎漁港を古来から避難港、風待港として天然の良港たらしめている。
島の東西で岩質が異なり、東部は初声層（約400?300万年前に堆積したスコリアと軽石質砂礫からなる凝灰岩）、西部は三崎層（約1,200?4,000万年前に堆積した凝灰質シルトとスコリア質凝灰岩の互層）から成り、島のほぼ中央に断層が通る。度々発生する大地震によって隆起を繰り返したためか、岩礁には褶曲等の地質学的に貴重な露頭が多く、コツコツと岩石を叩く地質学者や学生の姿がよく見られる。日本の地質百選選定委員会（事務局：特定非営利活動法人地質情報整備・活用機構、社団法人全国地質調査業協会連合会）による「日本の地質百選」にも選ばれている（2007年）。
標高30m程の平坦な台地が大部分を占め、沿岸部で急激に海に落ち込んでいる。海岸は島の東西端部に岩礁地帯が広がり、所々に砂浜がある。太平洋側の赤羽根崎より東側は険しい海食崖が発達している。元来、沿岸部に平坦な場所が殆どない地形である。
北岸と南岸では全く異なる土地利用がなされている。
三崎漁港に面し、ひなびた漁港風景が広がる。遊ヶ崎（城ヶ島大橋の下）より東側は研究所、造船所、マリーナなどの比較的規模の大きい施設がある。西側は住民の生活の場である。西端の城ヶ島灯台周辺は土産物店が軒を連ねる観光中心地になっており、京浜急行電鉄グループによってホテル、バス停留所（起終点）、油壺へ向かう観光船発着場などが整備されている。
かつての北岸には、遊ヶ崎、酔女ヶ浜などの砂浜があった。特に、遊ヶ崎は現在の白秋碑苑付近から大駐車場に至る大きな砂浜であった。大正時代までは遊ヶ崎海水浴場として大いに賑わっていたが、1923年9月1日の関東大震災によって衰退、その後、城ヶ島砲台（後述）の設置が決まって遊興地としての佇まいは失われることになった。
戦後、急激な復興を遂げた三崎漁港の施設用地不足解消のため、県営埋め立てが始まった。埋め立てには三崎漁港の浚渫土砂が使われ、西側（現在の観光船発着場付近）から3つの地区に分けて行われた。途中、城ヶ島大橋の架橋後に東側海域も埋め立てられ、蛇島などの景勝が消滅した。現在では島面積の19%が埋立地となり、北岸の自然海岸は遊ヶ崎の白秋碑苑付近、水っ垂れ?安房ヶ崎間、西端の楫の三郎山周辺にわずかに残るのみである。
結果、現在の北岸は古来の面影を全くと言って良いほど残していないが、戦前から広く知られた景勝地のため、当時の絵葉書などに多くの写真が残されている。それらを見ると、城ヶ島と三崎との距離は現在よりも遥かに遠く、松の生えた奇岩に波が砕け、白砂青松を絵に描いたような景色であったことを窺い知ることができる。また、江戸時代の絵画にもよく登場しており、1812年に浦賀の加藤山寿が著した『三浦古尋録』などに当時を偲ばせる絵図が残っている。
太平洋に面し、沖合に伊豆大島を望む。自然がそのまま残されており、人工物とは縁の無い世界である。自動車も近づけないため、船の航行音以外に人工音は聞こえない。東西を結ぶハイキングコースが整備されている。 赤羽根崎より東側は海食崖が発達し、人は容易に近づけない。このため、ウミウ、ヒメウ、クロサギの繁殖地となっており、神奈川県の指定天然記念物となっている。この繁殖地は城ヶ島公園から崖上を通って灯台に至る道中から望むことができる。 城ヶ島公園内から海辺に降りることもできるが、かなり険しい道である。また、海岸も波食棚が発達していて歩きにくく、ハイヒール等では危険である。 赤羽根崎より西側は砂浜と広大な岩礁地帯（隆起海食台地）があり、典型的な海岸段丘を形成している。岩場としては比較的なだらかで、西へ進むと城ヶ島灯台に出る。 南岸は普段は静かなため、夏場にはキャンプをする人が多い。しかし、外海に直接面しているため、暴風時には岩場よりも高い波が押し寄せる強烈な海象となる。また、遠方で津波が発生した場合、島に近づくにつれ急に波高を増して襲ってくるが、背後に急峻な崖が迫った逃げ場のない場所であることを忘れてはならない。
赤羽根崎より長津呂崎を望む
樹木は北岸に集中して生えている。海風が強いため、南岸の崖には樹木が殆ど生えておらず、島の台地上の樹木は北側に傾いて生える。スイセン、ハマユウ、ハマナデシコ、ハマゴウ、イソギク、アシタバ等の海浜植物が自生する。台地上には人の背丈を遥かに越えるハチジョウススキが密生しており、眺望が効く場所は限られる。
遊ヶ崎に弥生時代の遺跡があり、食料調達としての漁はその頃から行われていたと考えられる。商いとしての漁業は江戸時代、江戸の発展に呼応するように始まった。夏には海士と呼ばれる男達が裸潜水漁でアワビ、サザエ等を採取し、冬には覗突漁（舫丁）で魚を突いた。併せて小規模な網漁（磯立網、七目網など）も行われ、1649年には海老網漁が始まっている。また、鰹などの回遊魚も出荷していた。水揚げされた魚介は当時の快速艇である押送り舟（おしょくり）で江戸に運ばれた。1781年には城ヶ島の戸数68の内、1軒が商家の他は全て漁師であったと伝わっており、漁業は正に城ヶ島の生業であった。明治時代にはサンマの流し網漁を相模湾で行うようになった。
現在、対岸の三崎と共に遠洋漁業基地の一角を成しているが、島を拠点とする漁業は刺し網、採貝、採藻などの沿岸漁業が中心である。特にアワビは『新かながわの名産100選』に選ばれている ⇒[1]。また、 ⇒神奈川県水産技術センターでは、水産資源の研究が大規模に行われている。
島自体が地元の重要な観光資源である。観光地としての歴史は古く、鎌倉時代に源頼朝が度々来遊した頃に始まる。 頼朝は笠懸を催した「遊ヶ崎」、茶を淹れたり硯の水に使ったとされる「水っ垂れ（水辺の岩に湧く清水）」、頼朝の侍女が酒に酔ったことからその名がついた「酔女ヶ浜」など、島内各所に由来を残している。
明治に入って三崎?東京間に汽船が就航すると、城ヶ島は都会からの避暑客で賑わうようになり、遊ヶ崎に海水浴場が開設された。 大正時代に北原白秋の『城ヶ島の雨』（後述）が発表されると、若い男女の憧れを集めるロマンの島として全国に名を知られるようになった。 しかし、関東地震に伴う地盤隆起によって砂中の岩礁が砂浜に露出してしまい海水浴客は減少、その後に城ヶ島砲台（後述）が設置され、城ヶ島は要塞の時代を迎える。
