なお、次兄の朝長は負傷により美濃国青墓で落命し、義朝は尾張国野間にて長田忠致により謀殺され、長兄の義平は都で処刑され[注釈 13]、同母弟の源希義は土佐国へ流刑されている。
伊豆の流人蛭ヶ小島（静岡県伊豆の国市四日町）

伊豆国での流人生活は史料としてはほとんど残っていない。配流地として蛭ヶ小島（ひるがこじま）が知られているが、この地は北条氏の支配領域で当初から同地に居住したのかは不明である[注釈 14][注釈 15]。

周辺には比企尼の娘婿である安達盛長、河越重頼、伊東祐清が側近として仕え、源氏方に従ったため所領を失って放浪中の佐々木定綱ら四兄弟が従者として奉仕した。この地方の霊山である箱根権現、走湯権現に深く帰依して読経を怠らず、亡父・義朝や源氏一門を弔いながら、一地方武士として日々を送っていた。そんな中でも乳母の甥・三善康信から定期的に京都の情報を得ている[11]。また、武芸の一環である巻狩りにも度々参加していた[注釈 16]ことが知られている。なお『曾我物語』には工藤祐経が河津祐泰を殺害したことで知られる安元2年（1176年）10月の奥野の巻狩りにも参加する頼朝の姿が描かれるなど、頼朝の立場は流人であったとは言え、伊豆およびその周辺では「名士」として遇されていたとみられる説もある[12]。

なお、この流刑になっている間に伊豆の豪族・北条時政の長女である政子と婚姻関係を結び長女・大姫をもうけている。この婚姻の時期は大姫の生年が治承2年（1179年）とされることから、治承元年頃のことであると推定されている。なお、大姫の生年を安元2年（1176年）とする説を唱える保立道久は、政子との婚姻はその前年である安元元年よりも以前としている[12]。

フィクション性が高いとされる『曽我物語』には次のような記載がある。仁安2年（1167年）頃、21歳の頼朝は伊東祐親の下に在った。ここでは後に家人となる土肥実平、天野遠景、大庭景義などが集まり狩や相撲が催されている。祐親が在京で不在の間に頼朝がその三女（八重姫）と通じて子・千鶴丸を成すと、祐親は激怒し平氏への聞こえを恐れて千鶴丸を伊東の轟ヶ淵に投げ捨て、三女を江間小四郎[注釈 17]に嫁がせる一方で、頼朝を討たんと企てた。祐親の次男・祐清からそれを聞いた頼朝は走湯権現に逃れて一命を取り留めた。なお、前述の保立道久は頼朝が八重姫と政子の両方と関係を持っていた時期があり、北条時政を婿[注釈 18]としていた祐親が自身の面子を潰されたことが襲撃の原因としている[注釈 19]。

また、政子との婚姻に関しては『源平盛衰記』に次のような逸話がある。頼朝と政子の結婚に反対する時政は、政子を山木兼隆に嫁がせるべく兼隆の下に送るが、政子はその夜の内に婚礼の場から抜け出したという。しかし、頼朝の妻となった政子と山木兼隆との婚儀については、兼隆の伊豆配流が1179年であり、長女大姫が1178年に誕生していることから物語上の創作と思われる。
挙兵詳細は「治承・寿永の乱」を参照伊豆地方の地図

治承4年（1180年）、後白河法皇の皇子である以仁王が平家追討を命ずる令旨を諸国の源氏に発した。4月27日、伊豆国の頼朝にも、叔父・源行家より令旨が届けられた。以仁王は源頼政らと共に宇治で敗死したが、頼朝は動かずしばらく事態を静観していた。しかし平家が令旨を受けた諸国の源氏追討を企て、自身が危機の中にあることを悟った頼朝は挙兵を決意すると、坂東の各豪族に挙兵の協力を呼びかけた[注釈 21][注釈 22]。源氏累代の家人からは挙兵に否定的な態度をとるものが少なくなかった一方で、知行国主変更に伴って圧迫を受けた武士、平家に近い豪族と対立関係にある武士たちの協力が見込めそうな状況にはあった。

最初の標的は伊豆国目代・山木兼隆[注釈 23]と定められ、治承4年（1180年）8月17日、頼朝の命令で北条時政らが韮山にある兼隆の目代屋敷を襲撃して兼隆を討ち取った[11][注釈 24]。

19日、頼朝は伊豆国において最初の政治行為を行った。伊豆を制圧した頼朝は相模国土肥郷へ向かった[注釈 25]。頼朝らは本拠地三浦を発した三浦一族と合流する予定であったが、三浦一族が大雨により増水した丸子川（酒匂川）で足止めを食ったため合流できず、その前の8月23日に真鶴付近で石橋山の戦いに突入することになってしまった。