詳細は平治の乱を参照
保元の乱の後、二条天皇親政派と後白河院政派の争い、急速に勢力を伸ばした信西への反感などがあり都の政局は流動的であった。頼朝の父・義朝は平治元年（1159年）12月9日、後白河上皇の近臣である藤原信頼に誘われ、平治の乱を起こした。当初は信西を追討した官軍という立場に立ちその恩賞の除目で、13歳の頼朝は右兵衛権佐へ任ぜられる。しかし天皇は内裏から六波羅の平清盛邸へと逃れ、27日、官軍となった平家が大内裏へと攻め寄せる。頼朝は奮戦する長兄・源義平らに続いて戦うが、義朝軍は平家に敗れ、一門は官職を止められ京を落ちた。
義朝に従う頼朝ら8騎は、本拠の東国を目指すが頼朝は途中一行とはぐれ後に平頼盛の家人平宗清に捕らえられる。なお頼朝がはぐれて後、父義朝は尾張国にて長田忠致に謀殺され、長兄義平は都に潜伏していたところ捕らえられて処刑され、次兄朝長は逃亡中の負傷が元で命を落としている[2]。永暦元年（1160年）2月9日、京・六波羅へ送られた頼朝[3]の処罰は死刑が当然視されていたが、清盛の継母・池禅尼は、早世した我が子・平家盛に頼朝が似ている事から清盛に助命を請うたことなども影響し[4]、死一等を減ぜられて頼朝は3月11日に伊豆国の蛭ヶ小島（ひるがこじま）[5]へと流された。なお、同日平治の乱に関った藤原経宗、藤原惟方や同母弟希義も流刑に処されている[3]。
伊豆国での流人生活は史料としてはほとんど残っていない[6]。
流人とはいえ、乳母の比企尼や母の実家である熱田大宮司の援助を受け、狩りを楽しむなど比較的安定した自由な生活をしていたと思われる。周辺には比企尼の婿である安達盛長が側近として仕え、源氏方に従ったため所領を失って放浪中の佐々木定綱ら四兄弟が従者として奉仕した。この地方の霊山である箱根権現、走湯権現に深く帰依して読経をおこたらず、亡父義朝や源氏一門を弔いながら、一地方武士として日々を送っていた。そんな中でも乳母の甥・三善康信から定期的に京都の情報を得ている[7]。なお、この流刑になっている間に伊豆の豪族北条時政の長女である政子と婚姻関係を結び長女大姫をもうけている。この婚姻の時期は大姫の生年から治承2年（1178年）頃のことであると推定されている。
なお、フィクション性が高いとされる『曽我物語』には次のような記載がある。仁安2年（1167年）頃、21歳の頼朝は伊東祐親の下に在った。ここでは後に家人となる土肥実平、天野遠景、大庭景義などが集まり狩や相撲が催されている。しかし祐親が在京の間にその三女八重姫と通じて子・千鶴丸を成すと、祐親は激怒し平家への聞こえを恐れて千鶴丸を伊東の轟ヶ淵に投げ捨て、八重姫を江間小四郎[8]の妻とし、頼朝を討たんと企てた。祐親の次男からそれを聞いた頼朝は走湯権現に逃れて一命を取り留めた。頼朝29歳頃の事件であった。31歳の時、頼朝監視の任に当たっていた北条時政の長女である21歳の政子と通じる。強く反対した時政は山木兼隆に嫁がせるべく政子を兼隆の下に送るが、政子はその夜の内に抜け出し、頼朝の妻となった[9]。
詳細は治承・寿永の乱を参照
治承4年（1180年）、高倉宮以仁王が平氏追討を命ずる令旨を諸国の源氏に発し、4月27日、伊豆国の頼朝にも、叔父・源行家より令旨が届けられる。以仁王は源頼政らと共に宇治で敗死するが、頼朝は動かずしばらく事態の成り行きを静観していた。しかし平氏は令旨を受けた諸国の源氏追討を企て、その動きを知り自分が危機の中にあることを悟った頼朝は挙兵を決意し、安達盛長を使者として義朝の時代から縁故のある坂東の各豪族に挙兵の協力を呼びかけた[10]。
挙兵の第一攻撃目標は伊豆国目代山木兼隆と定められ、治承4年（1180年）8月17日頼朝の命で北条時政らが伊豆国韮山にある兼隆の目代屋敷を襲撃し、兼隆を討ち取った[7][11]。
伊豆を得た頼朝は相模国土肥郷へ向かう。従った者は北条義時、工藤茂光、土肥実平、土屋宗遠、岡崎義実、佐々木四兄弟、天野遠景、大庭景義、加藤景廉らであり、さらに三浦義澄、和田義盛らの三浦一族が頼朝に参じるべく三浦を発した。しかし三浦軍との合流前の23日に石橋山の戦いで、頼朝らは平家に仕える大庭景親、渋谷重国、熊谷直実、伊東祐親ら三千余騎と戦い、三百騎を率いる頼朝は敗れ、土肥実平ら僅かな従者と共に山中へ逃れた[12]。
