父祖は清和天皇の孫で臣籍降下した源経基、多田源氏の祖の源満仲、河内源氏の祖の源頼信、前九年の役の源頼義、後三年の役の源義家、源義親[注釈 8]、祖父の源為義[注釈 8][注釈 7]。母は季範の娘の由良御前。乳母は比企尼、寒河尼、山内尼。

父の義朝は保元の乱（1156年）において、平清盛らと共に後白河天皇側にたって戦勝し、崇徳上皇側の父の為義の助命を自身の戦功に替えて願うが許されず、父と弟たちを斬首し、左馬頭に任ぜられる。

保元3年（1158年）、頼朝は後白河天皇准母として立后した統子内親王の皇后宮権少進となり、平治元年（1159年）2月に統子内親王が院号宣下を受けると、上西門院蔵人に補される。上西門院殿上始において徳大寺実定、平清盛などの殿上人が集う中で献盃役を務める[注釈 9]。また同年1月には右近衛将監に、6月には二条天皇の蔵人にも補任される。長兄の義平は無官とみられ、先に任官していた次兄の朝長よりも昇進が早いことから、母親の家柄が高い頼朝が義朝の後継者、嫡男として待遇されていたとみられている。
平治の乱詳細は「平治の乱」を参照

平治元年（1159年）12月9日、義朝は藤原信頼と共に後白河上皇と二条天皇を内裏に捕える。14日、13歳の頼朝は右兵衛権佐へ任ぜられる[注釈 10]。26日、上皇と天皇は内裏から逃れる。27日、官軍となった清盛らが内裏へと攻め寄せ、賊軍となった義朝らは敗れて京を逃れ、東国を目指す。近畿から東海地方の地図

永暦元年（1160年）2月9日、頼朝は近江国で捕えられ京の六波羅へ送られ[6]、死刑を当然視されるが、清盛の継母の池禅尼の嘆願などにより死一等を減ぜられる[注釈 11]。なお、助命嘆願には後白河院、上西門院の意向が働いていたとの説もある[7]。また、平治の乱の本質は院近臣同士の争いであり義朝は信頼に従属する者の一人に過ぎず、その子供達の処分が軽度であったのも当然とする見解も示されている[8]。3月11日に伊豆国へと流刑された[注釈 12]。

なお、次兄の朝長は負傷により美濃国青墓で落命し、義朝は尾張国野間にて長田忠致により謀殺され、長兄の義平は都で処刑され[注釈 13]、同母弟の源希義は土佐国へ流刑されている。
伊豆の流人蛭ヶ小島（静岡県伊豆の国市四日町）

伊豆国での流人生活は史料としてはほとんど残っていない。配流地として蛭ヶ小島（ひるがこじま）が知られているが、この地は北条氏の支配領域で当初から同地に居住したのかは不明である[注釈 14][注釈 15]。

周辺には比企尼の娘婿である安達盛長、河越重頼、伊東祐清が側近として仕え、源氏方に従ったため所領を失って放浪中の佐々木定綱ら四兄弟が従者として奉仕した。この地方の霊山である箱根権現、走湯権現に深く帰依して読経を怠らず、亡父・義朝や源氏一門を弔いながら、一地方武士として日々を送っていた。そんな中でも乳母の甥・三善康信から定期的に京都の情報を得ている[11]。また、武芸の一環である巻狩りにも度々参加していた[注釈 16]ことが知られている。