腕の良いテーラー（仕立て屋）を父として、父親が53歳9か月の時の子として、東京都港区白金にて誕生。母子家庭で育つ。長年に渡り「東京都世田谷区出身」と本人は思い込んでおり、従来はそう公表されていたが、2018年6月、母親から母子手帳を見せられたことにより、その詳細な記述により世田谷区は本籍地で、実は港区白金出身だった、と知ったことをInstagramで明かした[1]。父親には結婚歴が何度かあり、複数の女性との間に子がおり、伊勢谷の異母兄弟たちの中には、30歳以上年上の異母兄として山本寛斎がいる、ということを伊勢谷は後年、成長してから知ることになる。→#家族・親族

幼少期を北海道函館市（五稜郭町）で過ごし[6][リンク切れ]、その後は東京都目黒区育ち[1]。日本大学豊山高等学校[7]を卒業、東京藝術大学美術学部デザイン科に入学、同学部を卒業後、同大学の大学院に進学し、美術研究科修士課程修了[8]。デザイナーである石岡瑛子や、異母兄・山本寛斎を意識していた影響もあり、当初はファッションデザインの道に進もうと考えたが[9]、同校では映像について学んだ。また学生時代については、3浪・4浪が当たり前の芸大出身ということもあり、同学年は年上の人間ばかりだったと述懐している。

12歳から英語教室に通っていたほか、大学4年生時にはニューヨーク大学に短期留学して映像を学んだこともあり[10]、そのおかげで英語による演技も高評価を得ている。なお運動神経も良く、学生時代は水泳のインストラクターもしており、子どもたちにかなり懐かれていた[10]。

大学在学中の1996年（平成8年）、モデルとしての活動を開始[10]。以後、CM・雑誌、ファッションショーなどに出演、ファッションブランド 「プラダ」のミラノコレクションにも参加した[10]。また同年、『天使の涙』のプロモーション番組 『地球に落ちてきた天使』に、金城武と監督のウォン・カーウァイとともに出演した。

その後は主に俳優として活動してゆくことになる。

翌1997年（平成9年）、東京藝術大学のメンバー3人で結成したアーティストグループ、『カクト』の活動を開始した[11]。さらに1998年（平成10年）、『ワンダフルライフ』（公開は1999年（平成11年）で映画初出演している[12]。2002年（平成14年）には、初監督作品『カクト』が劇場公開された[13]。

2008年（平成20年）より、「リバース・プロジェクト（Rebirth Project）」の活動を開始[14]。2009年（平成21年）、NHKのスペシャルドラマ『白洲次郎』の三部作に、テレビドラマ初出演した[15]。翌2010年（平成22年）には、NHK大河ドラマ『龍馬伝』の高杉晋作役に抜擢され、第三部より出演[16]。この年の第61回NHK紅白歌合戦の審査員にも選ばれている[17]。翌年2月に公開予定の映画『あしたのジョー』の力石徹の役作りのために、3か月以上にもおよぶ過酷なトレーニングを行い、体重を67 kgから57 kg・体脂肪率を15 %から3 - 4 %へ減量して撮影に臨んだ[18]。

2011年の東北地方太平洋沖地震（東日本大震災）に際しては自ら「元気玉プロジェクト」と題する復興支援を積極的に行い、その一環として福島第一原子力発電所事故でできなかった福島県相馬郡飯舘村の子供たちの卒園式・卒業式の開催を企画・実施するなどしている[19]