1878年12月18日、ロシア帝国統治下のグルジアのゴリで生まれた。正教の神学校で教育を受けるが[4]、後に無神論に転向してマルクス主義の信奉者となり、1899年10月に神学校を去って革命家へと転身した[5]。

その後、ウラジーミル・レーニンが率いるロシア社会民主労働党ボリシェヴィキ派に加わり、1912年に党中央委員に選出された。1917年の十月革命でボリシェヴィキが権力を掌握した後、レーニンのロシア共産党による独裁国家が成立すると、その行政府である人民委員会議の有力者となり、1922年4月に党書記長に就任し、同年12月のソビエト連邦の建国にも深く関与した。ソビエト連邦の指導者であったレーニンが1924年1月に死去すると、その後継をめぐって起きたレフ・トロツキーとの権力争いを制し、自身が務めていた党中央委員会書記長に権限を集中させることで最高指導者としての地位を確立した。党内ではトロツキー派の世界革命論（永久革命）を否定して、一国社会主義論による国内体制の維持を優先する路線を示した。この理論対立はトロツキー派の粛清の大義名分としても用いられた。

以降は人民委員会議議長および同職を改組した閣僚会議議長、軍事大臣、前述の党中央委員会書記長などの要職を兼任し、死去する1953年3月まで最高指導者の地位にあった[6][7]。

1928年10月には戦時共産主義体制による経済疲弊から一時的に導入されていた新経済政策（ネップ）を切り上げさせ、第一次五ヶ年計画を実行に移した。同計画では政府主導の農業事業の集団化（コルホーズ）による合理化と統制を進め、脆弱な工業力を強化すべく工業重点化政策を推進した。結果として帝政時代からの課題であった農業国から工業国への転身を果たし、ソ連が世界第2位の経済力を有する基盤を作り出したと評されている[8]。　　　　　　

一方で急速な経済構造の改革と、反対派に対する厳しい弾圧は国民に多数の犠牲者を出すことになった。前者については農業政策の混乱によって深刻な食糧不足が発生し、ホロドモールへと繋がった。後者に関してはグラーグ（収容所）に収監された者だけで100万人以上[9]、これを免れた数百万人もシベリアなどの僻地に追放処分を受けた[9]。強権支配は大粛清と呼ばれる大規模な反対派摘発で頂点に達し、軍内の将官を含めて数十万人が処刑あるいは追放された[10]。

1939年、ナチス・ドイツの台頭などによって国際情勢が不安定化するなか、マクシム・リトヴィノフに一任していた仏英ソ同盟の締結が不調に終わったこともあり[11]、反共主義・反スラブ主義を掲げていたアドルフ・ヒトラー率いるナチス・ドイツと独ソ不可侵条約を締結し、秘密議定書に基づくポーランド侵攻は第二次世界大戦を起こすことになる。