1945年5月、ドイツは連合軍に占領され、アメリカ、ソ連、イギリス、フランスがそれぞれ統治する4つの地帯に分けられた。同年6月17日、グローテヴォールは他の元SPDの政治家数人とともに、ソ連占領地域に社会民主党の党再建の準備を開始した。彼は党中央委員会議長となるが、しかしオーストリアの選挙で共産党が不振だったことから、ソ連最高指導者ヨシフ・スターリンとKPD副議長のヴァルター・ウルブリヒトが党の統一を推進するようになった。ソ連圏のSPDは、両党の間に歴史的な反目があったにもかかわらず、東ベルリンのカルルスホルストに本拠を構える在独ソ連軍政府からの圧力が強まった。ソ連圏とベルリンのグロテヴォール率いるSPDの一部のメンバーは、主要左翼政党の分裂がナチスの台頭を招いたという考えから、ドイツ共産党(KPD)との合同に積極的となった。1946年3月31日、グロテヴォールは当初は合併に反対したが、激しい内部の争いの中、西ベルリンの社会民主党員の間で「共産党と社会民主党、二つの労働者政党の合同に賛成するか？」との投票がなされた。結果は80%が否だった。東ベルリンでは投票自体が赤軍に止められた。グローテヴォールは結局、4月22日に共産党との合同[4]を行い、スターリニズム政党であるドイツ社会主義統一党（SED）が誕生した。グローテヴォールは、東部SPDの有力者で反共産主義者のクルト・シューマッハと激しく対立し、彼は合併後、西ドイツのSPDの指導者となった。

SED結成後、ドイツ共産党のソ連占領地区の代表者ヴィルヘルム・ピークとともに社会主義統一党共同議長に就任した。SEDの党章である「握手」マークは、SPDとKPDの党設立総会でピークとグローテヴォールが握手した際の手がシンボルとして描かれたことに由来する。ドイツ1948年にのちの人民議会の前身となる制憲会議の議長を務め、1949年にはドイツ民主共和国の建国とともに初代首相に就任したが、合併後すぐに始まった元SPD党員の組織的な横やりを避け、旧SPDの党員は徐々に除名していったが、実権はソ連の代弁者ともいえるヴィルヘルム・ピークやヴァルター・ウルブリヒト（1950年よりドイツ社会主義統一党の書記長として党の最高責任者となった）のもとにあり、SEDは本質的に拡大した旧KPDとして統合されたのであった。

1949年10月12日、グローテヴォールは、ソ連占領地区からSEDを与党とするドイツ民主共和国（東ドイツ）が成立してその5日後に、初代首相（Ministerprasident）に就任した。ピークは初代大統領に就任した。グローテヴォールとピークは公式には対等の立場であったが、国政における実権はグローテヴォールがピークよりはるかに握っていた東ドイツの政治体制は、事実上、首相が国家最高位で、大統領はその次という位置づけであったから、グローテヴォールは東ドイツ発足後1年間、最も強力な政治家であった。

1950年7月、SEDがより正統的にソ連の路線に沿って再編成されると、グローテヴォールの権力は著しく低下した。ウルブリヒトは、東ドイツの事実上の政府であるSED中央委員会の第一書記に就任し、事実上の最高指導者となった。グローテヴォールは、SEDから異議を唱えられることなく首相の座にとどまり、公式においては政府首脳となったが、事実上、国政にほとんど力を持たなかった。1950年にポーランドとの間でゲルリッツ条約(de:Gorlitzer Abkommen)を締結し、オーデル・ナイセ線を両国の国境として承認した（当時は「平和の国境」と呼ばれた）。また、ポーランド外相による中欧の非核化提案である「ラパツキ計画(de:Rapacki-Plan)」に賛成したが、西側に拒絶された。

グローテヴォールはウルブリヒトや他の多くのSEDの党員とは異なり、公然と抑圧的でない統治方法を支持することで知られていた。1956年3月28日のSED党大会での演説で、グローテヴォールは法制度の乱用を非難した。また、違法な逮捕を糾弾し、市民の権利をもっと尊重するよう呼びかけ、議会で活発な討論を展開するよう求めた。また、法務大臣ヒルデ・ベンヤミン（de:Hilde Benjamin）の政治裁判の強引なやり方は有名だが、それをベールに包んだように批判した。