1920年から1930年まで、グローテヴォールはブラウンシュヴァイク自由州（以前のブラウンシュヴァイク公国）の州議会議員となった。彼は1921年に州国民教育大臣（Minister fur Volksbildung）となり、1923年には内務大臣・法務大臣となってブラウンシュヴァイク自由州政府の多くの内閣で閣僚を務めた。また1922年にはUSPDの大多数の党員とともに社会民主党に再入党し、1925年10月31日、SPD代表エリス・バルテルスの死去に伴い、国会議員に繰り上げ当選し、さらに1930年9月の選挙で自ら国会議員に当選し、1932年7月、11月、1933年3月の選挙で再選を果たした。また、1928年には州保険庁の長官も歴任した。

1933年、ナチスの政権獲得とともに彼は職を解かれ、他のSPDの党員と同様にナチスの迫害を受けることになった。1933年3月23日、グローテヴォールはアドルフ・ヒトラーが制定した全権委任法（Gesetz zur Behebung der Not von Volk und Reich）に反対票を投じたが、可決された。グロテヴォールは何度も投獄され、ブラウンシュヴァイクを去る羽目になった。彼はハンブルクに逃れ、1938年にはベルリンで雑貨商として暮らした。彼はブラウンシュヴァイク時代からの知人の社会民主党員、エーリヒ・グニフケ（de:Erich Gniffke）と抵抗運動を組織したが、この組織はナチスの支配に抵抗するというより、メンバーの接触と経済的生存を確保することが主旨となったいた。1938年8月に逮捕され、人民法廷（Volksgerichtshof、民族法廷）で内乱罪に問われたが、裁判前の拘留から解放され、彼に対する訴訟は7ヵ月後に中断している。1939年11月8日のゲオルク・エルザーによるアドルフ・ヒトラーらナチス高官の暗殺未遂事件で逮捕され、釈放されるまで約8週間の身柄拘束を余儀なくされた。釈放後はベルリンで事務員として働き、次第に絵画に没頭するようになった。1944年の7月20日事件に再び逮捕される予定だったが、人里離れた場所で暮らしていたため、ゲシュタポは彼の居場所を突き止められなかった。
東ドイツ時代SEDの結党大会で握手するヴィルヘルム・ピーク(KPD)とグローテヴォール(SPD)。最前列右はヴァルター・ウルブリヒト

1945年5月、ドイツは連合軍に占領され、アメリカ、ソ連、イギリス、フランスがそれぞれ統治する4つの地帯に分けられた。同年6月17日、グローテヴォールは他の元SPDの政治家数人とともに、ソ連占領地域に社会民主党の党再建の準備を開始した。彼は党中央委員会議長となるが、しかしオーストリアの選挙で共産党が不振だったことから、ソ連最高指導者ヨシフ・スターリンとKPD副議長のヴァルター・ウルブリヒトが党の統一を推進するようになった。ソ連圏のSPDは、両党の間に歴史的な反目があったにもかかわらず、東ベルリンのカルルスホルストに本拠を構える在独ソ連軍政府からの圧力が強まった。ソ連圏とベルリンのグロテヴォール率いるSPDの一部のメンバーは、主要左翼政党の分裂がナチスの台頭を招いたという考えから、ドイツ共産党(KPD)との合同に積極的となった。1946年3月31日、グロテヴォールは当初は合併に反対したが、激しい内部の争いの中、西ベルリンの社会民主党員の間で「共産党と社会民主党、二つの労働者政党の合同に賛成するか？」との投票がなされた。結果は80%が否だった。東ベルリンでは投票自体が赤軍に止められた。グローテヴォールは結局、4月22日に共産党との合同[4]を行い、スターリニズム政党であるドイツ社会主義統一党（SED）が誕生した。グローテヴォールは、東部SPDの有力者で反共産主義者のクルト・シューマッハと激しく対立し、彼は合併後、西ドイツのSPDの指導者となった。

SED結成後、ドイツ共産党のソ連占領地区の代表者ヴィルヘルム・ピークとともに社会主義統一党共同議長に就任した。SEDの党章である「握手」マークは、SPDとKPDの党設立総会でピークとグローテヴォールが握手した際の手がシンボルとして描かれたことに由来する。ドイツ1948年にのちの人民議会の前身となる制憲会議の議長を務め、1949年にはドイツ民主共和国の建国とともに初代首相に就任したが、合併後すぐに始まった元SPD党員の組織的な横やりを避け、旧SPDの党員は徐々に除名していったが、実権はソ連の代弁者ともいえるヴィルヘルム・ピークやヴァルター・ウルブリヒト（1950年よりドイツ社会主義統一党の書記長として党の最高責任者となった）のもとにあり、SEDは本質的に拡大した旧KPDとして統合されたのであった。

1949年10月12日、グローテヴォールは、ソ連占領地区からSEDを与党とするドイツ民主共和国（東ドイツ）が成立してその5日後に、初代首相（Ministerprasident）に就任した。ピークは初代大統領に就任した。グローテヴォールとピークは公式には対等の立場であったが、国政における実権はグローテヴォールがピークよりはるかに握っていた東ドイツの政治体制は、事実上、首相が国家最高位で、大統領はその次という位置づけであったから、グローテヴォールは東ドイツ発足後1年間、最も強力な政治家であった。

1950年7月、SEDがより正統的にソ連の路線に沿って再編成されると、グローテヴォールの権力は著しく低下した。ウルブリヒトは、東ドイツの事実上の政府であるSED中央委員会の第一書記に就任し、事実上の最高指導者となった。グローテヴォールは、SEDから異議を唱えられることなく首相の座にとどまり、公式においては政府首脳となったが、事実上、国政にほとんど力を持たなかった。1950年にポーランドとの間でゲルリッツ条約(de:Gorlitzer Abkommen)を締結し、オーデル・ナイセ線を両国の国境として承認した（当時は「平和の国境」と呼ばれた）。また、ポーランド外相による中欧の非核化提案である「ラパツキ計画(de:Rapacki-Plan)」に賛成したが、西側に拒絶された。

グローテヴォールはウルブリヒトや他の多くのSEDの党員とは異なり、公然と抑圧的でない統治方法を支持することで知られていた。1956年3月28日のSED党大会での演説で、グローテヴォールは法制度の乱用を非難した。また、違法な逮捕を糾弾し、市民の権利をもっと尊重するよう呼びかけ、議会で活発な討論を展開するよう求めた。また、法務大臣ヒルデ・ベンヤミン（de:Hilde Benjamin）の政治裁判の強引なやり方は有名だが、それをベールに包んだように批判した。このように、SEDの強権的な支配を公然と批判しながらも、グローテヴォールが失脚されることなく職を維持できたのは、ソ連指導部の信頼が厚かったからである。
晩年

グローテヴォールは55歳で政権についたが、首相在任中に急速に健康を害するようになり、1950年代には何度も政府病院に運ばれ何日も入院したこともあった。1953年11月12日、彼はモスクワのクレムリン・ポリクリニックを訪れ、3週間半の療養を終えた。このような非公式なモスクワ滞在を利用して、クレムリンと政治的な協議を行ったとされるが、公式な記録はない。1955年頃から、グローテヴォールの医師たちは、彼の心臓血管の状態を心配していた。1959年、ついに心不全が始まったと診断され、仕事量を減らすように指示された。高血圧と慢性的な不整脈のため、医師は心臓発作を恐れていた。1960年10月末、グローテヴォールは首席補佐官のヴィリー・シュトフを首相代理に任命したが、公式には首相に留任したままである。恒常的な心血管障害のために彼は政界に復帰できず、党や政府の指導者委員会の会合に積極的に参加することができなくなった。視力も衰え、原稿も読めなくなり、1961年初頭の彼の公の演説はほとんどない。