遊ヶ崎に弥生時代の遺跡があり、食料調達としての漁はその頃から行われていたと考えられる。商いとしての漁業は江戸時代、江戸の発展に呼応するように始まった。夏には海士と呼ばれる男達が裸潜水漁でアワビ、サザエ等を採取し、冬には覗突漁（舫丁）で魚を突いた。併せて小規模な網漁（磯立網、七目網など）も行われ、1649年には海老網漁が始まっている。また、鰹などの回遊魚も出荷していた。水揚げされた魚介は当時の快速艇である押送り舟（おしょくり）で江戸に運ばれた。1781年には城ヶ島の戸数68の内、1軒が商家の他は全て漁師であったと伝わっており、漁業は正に城ヶ島の生業であった。明治時代にはサンマの流し網漁を相模湾で行うようになった。
現在、対岸の三崎と共に遠洋漁業基地の一角を成しているが、島を拠点とする漁業は刺し網、採貝、採藻などの沿岸漁業が中心である。特にアワビは『新かながわの名産100選』に選ばれている ⇒[1]。また、 ⇒神奈川県水産技術センターでは、水産資源の研究が大規模に行われている。
島自体が地元の重要な観光資源である。観光地としての歴史は古く、鎌倉時代に源頼朝が度々来遊した頃に始まる。 頼朝は笠懸を催した「遊ヶ崎」、茶を淹れたり硯の水に使ったとされる「水っ垂れ（水辺の岩に湧く清水）」、頼朝の侍女が酒に酔ったことからその名がついた「酔女ヶ浜」など、島内各所に由来を残している。
明治に入って三崎?東京間に汽船が就航すると、城ヶ島は都会からの避暑客で賑わうようになり、遊ヶ崎に海水浴場が開設された。 大正時代に北原白秋の『城ヶ島の雨』（後述）が発表されると、若い男女の憧れを集めるロマンの島として全国に名を知られるようになった。 しかし、関東地震に伴う地盤隆起によって砂中の岩礁が砂浜に露出してしまい海水浴客は減少、その後に城ヶ島砲台（後述）が設置され、城ヶ島は要塞の時代を迎える。
戦後、三浦半島は岩戸景気の頃より東京に近い観光地として再び脚光を浴びることとなる。三浦市の統計によれば、昭和30年代以降に三浦市域に来訪した観光客の30%弱は城ヶ島に来訪している。1956年の来島客数は約27万人であったが、1960年に城ヶ島大橋が開通すると約147万人と5倍以上に増加した。砲台跡地は県立城ヶ島公園として整備され、1963年には京急グループの三崎観光が城ヶ島?油壺間に定期観光船を就航させた。 現在までの最盛期は1970年?1971年（昭和45?46年）で、年間200万人以上の観光客が訪れ、京急が快速特急「城ヶ島・マリンパーク号」「城ヶ島号」などの臨時列車を運行したほどであった。オイルショック後に観光客数は急減、京急三崎口駅開業や横浜横須賀道路開通などで歯止めが掛かったものの、1970年代後半?80年代は増減が激しく、他の観光地との競争激化、レジャーの多様化の影響が窺える。平成以降は緩やかな減少を続けているが、三浦市域における観光集客力では突出しており、中心的存在であることに変わりはない。 尚、城ヶ島?油壺間の定期観光船は2007年12月15日をもって惜しまれつつ廃止となったが ⇒[2]、2008年、城ヶ島大橋開通に伴って廃止された三崎?城ヶ島間の渡し舟が半世紀ぶりに復活した。
詩人北原白秋は、1910年に三崎を初訪、紆余曲折の後の1913年、城ヶ島遊ヶ崎対岸の三崎町向ヶ崎（むこうがさき）にあった異人館に翌年まで住んでいた。三崎居住期にも詩歌をノートに書き溜めており（三崎ノート）、その成果は1915年に歌集『雲母集（きらら集）』として発表している。
白秋は三浦三崎、そして城ヶ島を生涯愛した。1937年には三崎小学校、三崎実科高等女学校（後の県立三崎高等学校、2004年廃校）の校歌を作詞している。また、白秋が生前に歌碑建立を許したのは城ヶ島と三崎の見桃寺のみと言われる。 特に、1941年11月2日に行われた見桃寺の歌碑は、除幕式に白秋本人が参列した唯一のものである。
雨はふるふる 城ヶ島の磯に 利休鼠の雨がふる
雨は眞珠か 夜明の霧か それともわたしの忍び泣き
舟はゆくゆく 通り矢のはなを 濡れて帆あげたぬしの舟
ええ 舟は櫓でやる 櫓は唄でやる 唄は船頭さんの心意気
雨はふるふる 日はうす曇る 舟はゆくゆく 帆がかすむ
『城ヶ島の雨』歌碑『城ヶ島の雨』譜碑
『城ヶ島の雨』は、白秋が三崎滞在中の1913年に演出家島村抱月の依頼で作られた。島村は自身の主宰する芸術座の音楽会で発表するオリジナル曲のために白秋に作詞を依頼、作詞後すぐに梁田貞によって曲が付けられ、1913年10月30日、東京有楽座にて梁田自身の独唱（ピアノ：松平信博）で発表された。附曲された白秋の詩としては第一号である。城ヶ島や三崎の風情を詠っており、奥田良三が吹き込んだレコードが全国的にヒットすると、城ヶ島はロマンの島として全国に知られることとなり、憧れを抱いた若い男女が大勢来訪した。附曲した作曲家としては梁田の他に山田耕作（1923年）、橋本國彦（1928年）がいる。また、1950年と1959年には同名の映画も作られた。現在でも大正ロマンの名曲として親しまれている。
『城ヶ島の雨』の歌碑は白秋存命中より建立が望まれていたが、島が要塞地帯であったため、戦後の1949年になってようやく実現した。歌碑は城ヶ島北岸中央の遊ヶ崎に白秋が望んだ帆形の根府川石を用いて建立され、刻まれた草書は白秋の自筆である（歌碑裏側に「昭和16年7月 白秋先生揮毫」とある）。建立時、既に白秋は没していたが、除幕式には作曲者梁田貞が出席した。 その後、歌碑は城ヶ島大橋の建設に伴って西側に移動されて現在に至る。遊ヶ崎は城ヶ島大橋の真下となっているが、白秋碑苑として整備され、 ⇒白秋記念館が建つ。同記念館に備え付けられたノートには、遠方から来訪した人たちの書き込みもある。城ヶ島の趣は当時とは大きく変わったが、当時を知る人たちにはこの歌に強い思い入れを抱き続けている人が少なくないことを窺わせる。
歌った歌手の例
奥田良三
森繁久彌
美輪明宏
ダークダックス
倍賞千恵子
都はるみ
森進一
安田祥子
芹洋子
