大戦後、ヴァイマル共和国軍はヴェルサイユ条約により参謀本部、軍学校、航空機、潜水艦、戦車の保有を禁じられ、兵力も10万人、将校は4000人に制限された。グデーリアンはかろうじて軍籍を残すことができたが、ゴスラー第10旅団の中隊長としての勤務が続いた[14]。1921年1月12月23日、グデーリアンは兵務局（参謀本部の秘匿名称）に設けられた鉄道輸送、電信技術、自動車輸送を管轄する交通兵監部（独：Inspektion der Verkehrstruppen）に配属された[16]。これは当時の軍隊では左遷とも捉えられる部署であり、一時は退役も考えたグデーリアンであったが[17]、畑違いの運送関係の実務を行ううちに自動車・装甲部隊の有用性に目覚めていく。ジョン・フレデリック・チャールズ・フラーや当時無名だったド・ゴールの著作の影響を受けて、自動車部隊や戦車部隊を用いた革新的な戦術を開発すべく、「ベニヤ板のハリボテ戦車」で戦術研究をしている[注釈 1]。グデーリアンは回顧録において上官の不理解と自分こそが装甲部隊運用の先駆者であると強調しているが、ロバート・チティーノ（英語版）が指摘するように[18]、実際にはエルンスト・フォルクハイムやフリッツ・ハイグルのような先駆者がおり、上官にはアルフレート・フォン・フォラート＝ボッケルベルク（ドイツ語版）やオスヴァルト・ルッツ（ドイツ語版）、ヨアヒム・フォン・シュテュルプナーゲル（ドイツ語版）のような自動車化・装甲化の推進者も存在していた[19]。

独ソ秘密軍事協力に基づき、連合国の監視の目が届かないソビエト連邦奥地でのドイツ軍士官の戦車戦術の教育・訓練にも関与した。1933年にアドルフ・ヒトラーが首相に就任するが、展示会でグデーリアンが指揮した軍事演習を激賞したことから、グデーリアンはヒトラーが自分の見解に同意してくれるという確信を持つに至ったと回想している[20]。グデーリアンは回顧録において参謀総長ルートヴィヒ・ベックが戦車部隊を軽視したため対立したとしているが、ベックは装甲部隊についても重視しており、参謀次長であったマンシュタインもグデーリアンの路線を支持していたため、装甲師団の成立はグデーリアンが望むスピードではなかったものの、迅速に成立した[21]。グデーリアンは1935年の再軍備宣言の下実施された３個装甲師団（Panzer Division）新設に伴い、第2装甲師団長に任命された。

1937年、オスヴァルト・ルッツのすすめで、戦車部隊に対する国民の支持を集めるため、著書 『Achtung Panzer!（戦車に注目せよ！）』 を出版した[22]。彼の構想は戦車を主力兵器としつつも、戦車を歩兵の代わりにしようというのではなく、戦車にトラック・オートバイ・装甲兵員輸送車により機動力を高めた歩兵(後にいう装甲擲弾兵)および従来の砲兵よりも機動性の高い爆撃機による火力支援等を組み合わせ、敵の強点ではなく弱点に対する電撃的な集中力と突破力の発揮を目指したものであった。この本は国内でベストセラーになったほか世界の軍事筋に高い評価を受け、オーストリアの軍事大学校で必読書とされるほどであった[22]1938年のオーストリア併合では、グデーリアンは第2装甲師団と自動車化されたLSSAH連隊を率いて短時間のうちにウィーンに進駐した。第2装甲師団はドイツ南部のヴュルツブルクから670キロ、LSSAH連隊はベルリンから1000キロを48時間で走破して、ウィーンに入城した。しかし30％の車両が故障・脱落したため、陸軍上層部からは装甲部隊の有用性に疑念の声も上がった。グデーリアンは距離が長距離であったことからのこの程度の損害は当然であるとし、しかも修理も迅速に行われていると反論している[23]。またアンシュルスは突然の出来事であり、全くの事前準備がなかったことはグデーリアンの主張を裏付ける形となっている。いずれにしてもこの進駐は来たるべき本番の問題点を洗い出す「総稽古」となった[23]。

第16装甲軍団長（2個装甲師団+1個自動車化歩兵師団）となったグデーリアンは、10月13日から行われたチェコのズデーテン地方進駐任務にあたった。この二日間の行程で、グデーリアンの部隊にはヒトラーも同行し、オペラや晩餐会などで二人は親交を深めていた[24]。1938年11月28日には、装甲部隊・騎兵部隊を統合的に管理する快速部隊長官（Inspekteur der Schnelltruppen）に就任した。しかし、この職には指揮権や人事権も存在せず、グデーリアンは当初就任を断っている。当時OKH（陸軍総司令部）の中佐であったヘルマン・バルクの証言によれば、グデーリアンの対立者であったアドルフ・フォン・シェル（ドイツ語版）大佐が、上層部への反抗を繰り返すグデーリアンを疎ましく思っていたヴァルター・フォン・ブラウヒッチュ陸軍総司令官と組んで、閑職である快速部隊長官にグデーリアンを押し込めるための措置であったとしている[25]。しかしヒトラーは快速部隊の統合運用は自分の希望であるとグデーリアンを説得し、装甲兵大将昇進とともに長官就任の運びとなったが、結局この職は実権を伴うものではなく、グデーリアン自身も「底なしの樽に水を汲む」ような仕事であったと回想している[26]。
ポーランド戦からフランス戦グデーリアンとエニグマ通信機。1940年5月グデーリアンとヘルマン・ホト。1941年6月21日。

1939年9月1月から開始されたポーランド戦役においては、1個装甲師団・2個自動車化歩兵師団を擁する第19装甲軍団長として従軍した。しばしばポーランド戦は航空支援のもと装甲部隊によって突破する電撃戦と関連付けられるが、ドイツ軍はポーランド側の航空戦力を撃滅させることはできず、最後まで抵抗に遭い、装甲部隊もいくつかのトラブルに見舞われていた[27]。それでも9月4日にはポーランド回廊を突破して東プロイセンに到達した。翌日、現場を視察したヒトラーは戦果を見て「これはたぶん、我が軍の急降下爆撃機がやったのだろうね」と述べたが、グデーリアンは「いいえ、われわれの戦車です」と答え、ヒトラーを驚かせた[28]。続いてはブレスト・リトフスクへの突進を上申して認められ、9月17日にはブレスト・リトフスクの要塞を陥落させた[29]。その功により、10月27日にはヒトラーから騎士鉄十字章を授与される[30]。

1940年のフランス戦においてはOKHは、右翼（北側）を強化して大西洋岸を目指すというシュリーフェン・プランに近い作戦が立案されていた。しかしA軍集団参謀長エーリヒ・フォン・マンシュタインはアルデンヌを装甲部隊で突破して攻撃する計画を立案した（マンシュタイン・プラン）。