2002年の連邦議会選で連邦議会議員に返り咲く。2002年の党大会で91.3%の票を獲得してSPD幹事長に選出された。2003年の党大会でも幹事長に再選したが、その際の得票率はわずか52.6%であった。2004年3月のゲアハルト・シュレーダー連邦首相のSPD党首辞任とともに幹事長の職を退いた[11]。ショルツは党内ではシュレーダーと親密な関係にある構造改革派とみなされていたが、2007年の入閣後はこの評価は変わっている。2005年10月、連邦議会党議員団代表代行に選出された。
初入閣

2007年11月、フランツ・ミュンテフェーリング労働相（副首相兼任）の辞任に伴い、その後任の労働・社会大臣として第1次メルケル内閣（CDU/CSUとSPDとの大連立）に入閣した[12]。2009年ドイツ連邦議会選挙の結果連立組み替えが起きたため、大臣職を離れた。同年11月よりSPDハンブルク支部代表に就任し、また党大会で85.7％の票を獲得して副党首に選出された[13]。
ハンブルク市長ハンブルク市長に就任し、市議会の市政府側の席に座る

2011年2月20日に行われたハンブルク市議会議員選挙で、SPDの得票率は48.3％に上り121議席中62議席と単独過半数を獲得する勝利をおさめた。この結果、SPDは10年ぶりに政権を奪回し、ショルツがハンブルク市長に就任した[14][15]。同時に連邦議会議員職を辞した。2015年の市長選挙でも再選されたが、SPDの獲得議席が過半数を割ったため、緑の党との連立政権となった。2017年ドイツ連邦議会選挙の際にはSPDの首相候補に取りざたされたこともあったが、結局マルティン・シュルツが選ばれた。

2015年には、ハンブルクに2024年夏季オリンピック招致することを表明し、ローマ、パリ、ブダペスト、ロサンゼルスとの招致レースに参加した。しかし、同年11月に行われた招致の是非を問う住民投票では反対票が51.7%となり、ショルツは「望んでいた決定ではないが、意向は明かだ」と述べ招致を断念した[16][17][18]。

2017年にG20サミットがハンブルクで開催された際には、抗議デモ参加者の一部が暴徒化し警察と衝突して双方に負傷者が出る事態となった。サミット警備のためにドイツ全土から2万人余りの警察が動員されたが、そのうち467人が負傷したとハンブルクの警察当局から発表された[19]。キリスト教民主同盟（CDU）所属のハンブルク市議会議員からはショルツの責任を問い市長辞任を求める声もあったが、G20警備は政府全体の責任であるとして、メルケル首相はじめ連邦レベルのCDUはショルツを擁護している[20]。
財務大臣

2017年ドイツ連邦議会選挙ののち、CDUとの連立交渉に参加。連立参加への可否を決める党員投票の際は臨時党首を務め、連立協定承認に導いた。2018年3月14日に第4次メルケル内閣が発足し、連邦副首相、財務大臣に就任、同時にハンブルク市長を退任した[21]。

2019年6月にアンドレア・ナーレスがSPDの党首を退任したことを受けて、後任となる共同党首ペアを選出する党首選挙が実施されることとなり、ショルツはクララ・ゲイウィッツ（ドイツ語版）とペアを組み立候補した。10月に行われた第1回党員投票では、ショルツのペアが最多得票を獲得したが、過半数に達しなかったため、得票率2位であったサスキア・エスケンとノルベルト・ワルターボルヤンスのペアと決選投票が行われることとなった。エスケンは要職経験が殆どなく、ワルターボルヤンスは「年金受給者」などとも揶揄されたベテラン政治家であり[22]、いずれも中央ではほぼ無名だったが、決選投票でのショルツらの得票率は45.33%にとどまり、予想外の敗北を喫し党首の座を逃した[23][24]。現職財務大臣の敗北は政界に大きな衝撃を与え、この時ショルツは失意から休暇を取り、沈黙を続けた[25]。

以後も財務大臣の職に留まり、新型コロナ対策の大規模な財政出動の番頭役として露出が高まったことなどから、次期総選挙での首相候補に選出されたが[26]、総選挙を4ヶ月後に控えた5月の時点では党勢の低迷が続き、緑の党、キリスト教民主・社会同盟（CDU／CSU）にも大きく引き離されて3位だった[27]。その後、緑の党党首のベーアボックが論文盗用疑惑で、さらにCDU／CSU党首のラシェットが災害対応などで支持を落とし[28]、相対的に社民党が浮上、総選挙直前の8月に入って初めて支持率で首位となった[29]。ぼそぼそと話す姿勢からカリスマ性は無いものの、メルケルに似た冷静さと安定感、堅実に仕事をしてきた実務家としての姿勢が好意的に受け止められた[30][31]。

2021年ドイツ連邦議会選挙で僅差ながら第一党となり、連立協議は難航したものの、2021年11月24日にはドイツ社会民主党、同盟90/緑の党、自由民主党が連立政権樹立で合意し、ショルツの次期首相就任が確実となった[32]。ここに至るまで、社民党が取り立てて大きな実績を残したわけでもなかったため、ショルツの首相就任は多分に上述の「敵失」に助けられた「棚ぼた」的な部分が大きかったが[25]、同時に「強運の人」とも言われた[22]。
連邦首相

2021年12月8日、次期首相を決める指名投票がドイツ連邦議会で行われ、ショルツは信任多数で首相に選出された。連邦大統領シュタインマイヤーの任命を受け、第9代ドイツ連邦首相に就任し、連邦議会で宣誓した[33]。SPDから首相が出るのは4人目になる。

外交面ではロシア、中華人民共和国との関係で一線を画す方針を示したが、就任直後からロシアとウクライナの国境が緊迫化。ドイツは環境面から原子力発電所と石炭火力発電所の廃止を決めたばかりで、将来的にエネルギーの多くの部分をロシア産天然ガス（ノルド・ストリーム）に依存せざるを得ない状況となっており、就任早々極めて難しい対応を迫られることとなった。足元がおぼつかない状況は、各国から不信の目で見られるところとなり、2022年1月24日付けのウォール・ストリート・ジャーナルは「ドイツは信頼に足るアメリカの同盟国ではない 安価なガスと中国向け自動車輸出、プーチンを怒らせないことを最優先する国」という題名のオピニオン記事を掲載した[34]。

しかし、ロシアのウクライナ侵攻が開始されると従来の慎重姿勢を大きく転換する。同年2月26日、対戦車砲1000門と携帯式地対空ミサイルスティンガー500門のウクライナへの武器供与を決定した[35]。