参謀本部の原点はフリードリヒ・ヴィルヘルム大選帝侯（在位1640年-1688年）まで遡る。この時代、ブランデンブルク＝プロイセン公国に初めて常備軍が設けられたことでも知られる。当時強力であったスウェーデン軍を真似て食料、野営地、武器等を担当する 「兵站幕僚」 という部署が設けられた。この組織がプロイセン王国に発展する時代の流れに生き残り「兵站総監部」と呼ばれる部署に発展する。1808年にゲアハルト・シャルンホルストがこの部署を率いた。
当時のプロイセン王国はイエナ・アウエルシュタットの戦いの2回の戦いでナポレオン軍に大敗し、軍制改革に迫られていた。シャルンホルストはアウグスト・フォン・グナイゼナウとカール・フォン・クラウゼヴィッツと協力して、ナポレオン軍に範を取った徴兵制を導入し、1809年には民間の士官学校を許し、これは後にプロイセン陸軍大学 ( ⇒Preu?ische Kriegsakademie) に発展するなど軍制の近代化を進めた。
1813年に第5代プロイセン王フリードリヒ・ヴィルヘルム3世は、ロシア遠征に敗北したナポレオンに宣戦布告し、ブリュッヘル将軍を総大将に、シャルンホルストを参謀総長、グナイゼナウを参謀次長に任命して、ナポレオン支配からの独立を目指した。戦傷が元で死亡したシャルンホルストの跡をグナイゼナウが継ぎ、プロイセン軍は1814年にはパリを占領し、ナポレオンをエルバ島に追放した。ヘルムート・フォン・モルトケ
グナイゼナウはプロイセン陸軍を特徴つける重要な慣行を制度化した。軍指揮官との共同責任と委託命令( ⇒Mission-type tactics)である。実施部隊の参謀長は軍指揮官と決定に対して責任を分かち合う。不一致の場合に参謀長は、参謀総長に直接見解を伝えることが出来る。こうして参謀科将校の団結を強化し、軍指揮官に対する牽制となった。また、委託命令とは目的・目標を高級指揮官が明確に指示するが、達成については実施部隊の下級指揮官が臨機応変に実行する権限を与えることである。旧陸軍では「独断専行」とも訳されて一部の参謀将校の独走が悲劇を招いたケースがあった。
1825年には軍務省から独立するが、相変わらずの小所帯であり、平和が長引くにつれて廃止の噂が飛び交うほどの組織であった。
1858年に大モルトケが参謀総長に任じられた。当時、陸軍少将のモルトケはこれと言って名声があった訳でもなく、参謀本部の軽視は変わることが無かった。しかし、評価は1866年の普墺戦争により一変する。モルトケは開戦前に兵員輸送のための鉄道や命令伝達のための電信網を準備し、参謀将校を各実施部隊の参謀部に配置し、参謀本部と前線部隊との意志の疎通を万全にして統一的な部隊運用を行い、7週間と言う短期に勝利した。モルトケが軍事思想の改革者と言われる所以である。その後もモルトケは参謀本部を率いて、普仏戦争でもフランス軍に圧勝した。
これを見た欧州各国は一斉に参謀本部を設立し、優秀な参謀将校の育成に狂奔することになった。明治維新の日本政府もフランス軍制からプロイセン軍制に切り替えるべく、モルトケの懐刀と言われるメッケル少佐を陸軍大学校教官に迎え入れて軍制の近代化を目指す。
1871年にプロイセン王ヴィルヘルム1世はドイツ帝国の初代皇帝となり、プロイセン参謀本部はドイツ帝国の参謀本部となる。参謀総長には帷幄上奏権が認められ、参謀総長は事実上、首相や国会に諮ることなく軍事上の決断をすることが可能となり、極めて大きな影響力をもつことになった。これが第一次世界大戦の敗北の芽の1つと見なされている。何故なら軍事的な構想に政治的なコントロールが利かなくなったからである。例えば中立国ベルギーを侵犯する西部攻勢計画のシュリーフェン・プランは、政治家にも海軍の指導部にも知らされることなく唯一の戦争計画となった。
第一次世界大戦に敗北したドイツでは帝政が崩壊してヴァイマル共和国が成立した。共和国政府が戦勝国と結んだヴェルサイユ条約により、兵力は10万人に制限され、航空機、潜水艦、戦車の保有を禁止された。参謀本部も禁止されることとなった。名称も Reichswehr（ドイツ国軍）と改名する。しかし、参謀本部の役割は国防省に設けられた兵務局に偽装して存続させた。
1935年にアドルフ・ヒトラーはヴェルサイユ条約の軍備制限条項を破棄して再軍備を宣言する。ドイツ国軍を国防軍 (Wehrmacht) と改名、陸軍総司令部を新設、偽装名称の兵務局を参謀本部に戻した。参謀本部総長には1933年10月1日から兵務局々長であるルートヴィヒ・ベック中将が就任した。
1938年2月に侵略戦争計画に反対する国防大臣ブロンベルク と陸軍総司令官フリッチュ ( ⇒Werner von Fritsch) を罷免し、ヒトラーは陸軍、海軍、空軍の国防三軍を直接指揮することとし、個人的な参謀部として国防軍最高司令部を設け、総長にヴィルヘルム・カイテル大将を任じた。
