1977年に国防長官を辞任したラムズフェルドは、製薬企業や通信企業を経営しつつ、ロナルド・レーガン政権で軍備・戦略・対日関係・中東問題など各種の諮問機関で委員を務めている。イラン・イラク戦争当時のイラクを訪問し、サッダーム・フセインと会談するラムズフェルド。

軍備管理に関する大統領諮問委員会委員（1982年から1986年）

海洋法条約特使（1982年 - 1983年）

戦略システムに関するパネル上級顧問（1983年から1984年）

日米関係に関するアメリカ合同諮問委員会委員（1983年から1984年）

中東特使（1983年から1984年）

公務に関する全米委員会委員（1987年 - 1990年）

アメリカ経済委員会委員（1988年 - 1989年）

アメリカ国防大学理事（1988年 - 1992年）

日米関係委員会委員（1989年 - 1991年）

連邦通信委員会（FCC）高品位テレビ諮問委員会委員（1992年 - 1993年）

アメリカ貿易赤字調査委員会委員（1999年 - 2000年）

国家安全保障宇宙管理組織評価委員会議長（2000年）

イラン・イラク戦争中の1983年にはイラクとの国交正常化のための特使に任じられ、12月19日と1984年3月にイラクを訪問しており、ターリク・ミハイル・アズィーズとは2時間以上、サッダーム・フセインとは90分に及ぶ会談を行い、ベクテルのパイプライン建設とそのためのイスラエルとの関係改善などが話し合われた[1]。
ジョージ・H・W・ブッシュ政権

ジョージ・H・W・ブッシュ大統領とは共和党内における政敵同士だったため、ジョージ・H・W・ブッシュ政権においては一切の役職には就いていない。1988年アメリカ合衆国大統領選挙では党内予備選挙への立候補を検討するが断念し、結局かつての盟友であるボブ・ドール上院議員を支持した。
クリントン政権

1998年に連邦議会の嘱託による超党派の「弾道ミサイル脅威評価委員会」（ラムズフェルド委員会とも呼ばれる）で委員長を務め、北朝鮮などが開発する弾道ミサイルの脅威と、アメリカ本土ミサイル防衛（NMD）の必要性を指摘した報告書を7月に提出した。クリントン政権はその脅威を差し迫ったものではないと評価していたが、翌8月に北朝鮮がテポドン1号の発射実験を行ったことで報告書の分析は裏付けられ、NMD計画が推進されることになる。
ジョージ・W・ブッシュ政権アメリカ合衆国国防長官時代のラムズフェルド（2001年1月）

2000年アメリカ合衆国大統領選挙の終盤に、ジョージ・W・ブッシュが国防長官への起用を発表した。翌年の2001年1月20日にブッシュ政権が発足し、史上最年長の68歳で第21代アメリカ合衆国国防長官に就任した。

2001年9月11日に発生したアメリカ同時多発テロにおいて、ハイジャックされたワシントンD.C.発ロサンゼルス行きアメリカン航空77便（ボーイング757）が9時38分にアメリカ国防総省本庁舎（ペンタゴン）に激突した。執務中のラムズフェルドは危うく難を逃れ、建物の外へ出ると女性職員が血を流して倒れていたため、彼女を抱えて避難し、救急車が来るまで看病していた。すぐに幹部を集めて「ここが勝負の分かれ目だ」と言い放ち、大統領とすぐに協議できるよう今後の対応策を数時間かけて、レターサイズ用紙1枚にまとめ上げた[注釈 1]。

その後はアフガニスタン紛争やイラク戦争において国防長官として指導的役割を果たした。特にイラク戦争では開戦前に戦時における部隊運用規模をめぐり少数兵力による迅速な敵地制圧を唱えた。日本の小泉純一郎首相と会談（2004年11月14日）

しかし制圧後のイラク占領は難航し、アメリカ軍兵士の戦死が相次ぐ。国防長官の直筆署名が慣例となっていた兵士遺族への追悼の手紙を、密かにラムズフェルドが専用機械によるサインにあらためていたことが2004年末に発覚。共和党内からも非難が集まった（その間も大統領からの追悼手紙は直筆署名がされていた）。[2]

さらに囚人虐待事件への対応などの影響から退任を求める声が出始めた。2006年には「アーミー・タイムズ」など陸海空軍と海兵隊の関係者向けの専門4紙が共同社説でラムズフェルドを非難し、中間選挙への悪影響を危惧した共和党の大物議員たちが更迭を要求する事態に至った。記者会見の終わりに記者の質問に耳を傾けるドナルド・H・ラムズフェルド国防長官と米国中央軍司令官トミー・フランクス将軍（2003年3月5日）

2006年11月8日の中間選挙において共和党敗北の結果を受けラムズフェルドは辞任した。

対日関係ではコンドリーザ・ライス国務長官とともに在日アメリカ軍再編に指導的役割を果たした。一部の日本の反米活動家や環境活動家らは、「再編特に普天間基地返還に伴い新たに建設される代替施設の建設予定海域に絶滅危惧種であるジュゴンの生息が確認された」などと主張し非難を行った。
国防長官退任後

フーヴァー研究所のフェローに指名された。

2021年1月3日、バイデン政権への移行を妨害するドナルド・トランプ大統領の試みに国防総省や軍の高官が一切協力しないよう呼びかけるディック・チェイニー、ジェームズ・マティス、マーク・エスパー、レオン・パネッタ、ウィリアム・コーエン、チャック・ヘーゲル、ロバート・ゲーツ、ウィリアム・ペリー、アシュトン・カーターら歴代国防長官10人の共同声明に名を連ねた[3][4]。

2021年6月29日、ニューメキシコ州タオスの自宅で死去した[5]。88歳没。多発性骨髄腫を患っていたとされる[6]。
その他
実業家としての活動