懐帝が処刑されたことにより、長安にいた懐帝の甥の司馬?（愍帝）は313年4月に即位して漢に抵抗した[9]。しかし長安も漢の劉曜により攻撃され、晋軍は抵抗するが連敗した。またこの愍帝の政権は、華北に残存していた西晋の残党により建てられた極めて脆弱な政権で、支配力は長安周辺にしか及ばない関中地域政権でしかなく、その長安は八王の乱で既に荒廃していたために統治力も無く、さらに西晋の諸王も援軍に現れなかったため、316年に長安が陥落して洛陽と同じく略奪殺戮の巷となり、愍帝は漢に降伏し、平陽に拉致された[1][8][9]。こうして西晋は完全に滅亡した[8][9]。愍帝は生かされたが、懐帝同様の扱いを受けた後、317年12月に漢の劉聡により殺された[1][8][9][10]。これにより、司馬炎の系譜であった西晋の皇統は断絶した。
東晋の建国

この間、江南にあった司馬睿は愍帝から侍中・左丞相・大都督・陝東諸軍事に任命されていたが、愍帝が降伏すると317年3月に晋王を称して建武と改元した[8]。そして愍帝が殺されると318年3月に皇帝に即位し（元帝）、建康に都して晋を再興した（東晋の成立）[11][8]。

なお、首都の旧名は建業であったが、愍帝の諱の「?」と重なるため、建康と改名されることになった。

元帝は江南における政権確立のため、王導の政治力を借り、また華北から亡命してきた皇族・貴族らの人材を取り入れていくことになるが、これは元帝が即位前に名声を得ておらず、江南の民衆を心服させられなかったことが一因している[12][13]。ただ元帝・王導らは、政権確立の過程において将軍府の要職を在地の江南人によらず北来の亡命人で独占するという体制をとったために在地の江南豪族の不満を買い[13]、江南随一の豪族周氏により反乱を起こされたりもしている。一方でそもそも江南豪族も決して一枚岩ではなかったため、これらの反乱は鎮圧された[13]。以後、王導の主導の下に東晋政権は確固たる地盤を築いていくことになる。

このような中で忠勇の軍人による北伐、中原快復運動も行なわれ、その中で最も気を吐いたのは奮威将軍・豫州刺史の祖逖であり、祖逖は華北に攻め入ると後趙相手に奮闘して河北の南部を奪取するまでに至ったが、当時の東晋の軍事力不足と元帝の消極政策、さらに内乱などもあり、北伐は最終的には失敗した[14]。
王敦の乱

元帝自身も華北から来た余所者であり、強力な権力・軍事力を有しているわけではなく、反乱鎮圧などで軍権を得ていた王敦（王導の従兄）の勢力が強大化して「王と馬と天下を共にす」とまで言わしめるようになり、元帝は王敦と王導を中枢から遠ざけて王氏一族の勢力を押さえ込もうとした[15]。この施策に激怒した王敦は322年1月、挙兵して君側の奸である劉隗・?協らを除くと称して武昌で挙兵し[15]、建康守備の要衝である石頭城を落として政府軍を大いに破った[16]。元帝は王敦に勅使を送って謝罪し、この反乱は一応の決着を見たが、それからほどなく322年に元帝は崩御した[16]。

元帝の崩御により、長男の司馬紹（明帝）が即位した[17]。明帝は勇決の人として評判が高く、そのため沈静化されていた王敦と明帝の間が再び緊迫しだした[17]。さらに王敦配下による粗暴な振る舞いが目に余るようになり、次第に多くの人々からの反感も買い、遂には同族の王導からも王敦は半ば見捨てられるようになった[17]。このような事態を見た明帝は、北方の淮水流域を守護していた祖約や蘇峻らを建康に召還して王敦討伐を命じた。この戦いの最中の324年に王敦は病死して明帝の勝利に終わり、王敦一派はことごとく誅殺された（王敦の乱）[18]。
?亮・王導の治世

その後明帝は皇帝の権力の強化を図るが、325年に若くして崩御した[18]。その際明帝は後継者に幼い息子の司馬衍（成帝）を指名し、王導・?亮・温?らに輔政せよとの遺詔を発した[18]。