1951年（昭和26年）6月24日に公職追放が解除されると、三木は鳩山、河野らと共に吉田打倒に動き出した。自由党に復帰するが、すでに自由党は吉田直系の「吉田学校」で固まっており、「鳩山復帰後は総裁を譲るという約束」は事実上反故にされ、鳩山、三木、河野らは新党結成を目指した。

しかし、鳩山が脳溢血で倒れ、新党結成は頓挫、三木は自由党内での反吉田闘争に路線を変更する。三木は「寝業師」としてあらん限りの智謀を傾け反吉田闘争の先頭に立つ。これに対して吉田は政治顧問、松野鶴平の助言で1952年（昭和27年）8月、抜き打ち解散を実施し、鳩山派を揺さぶった。また、広川弘禅の入れ知恵で吉田は反党的言動を理由に石橋湛山、河野一郎の両名を自由党から除名した。肝心の三木が除名されなかったのは、第1次吉田内閣成立時の三木の働きに吉田が恩義を感じており、三木の除名をしりぞけたためという。

総選挙の結果、自由党は第一党となり、第4次吉田内閣が成立する。鳩山派は党内野党ともいうべき「民主化同盟」（民同）を結成。通商産業大臣池田勇人の「中小企業の一つや二つ倒産し、自殺してもやむを得ぬ」との失言に対し野党から池田通産相不信任決議案が提出されると、鳩山民同は本会議を欠席し、不信任案を可決させ、池田は通産相を辞任した。

12月、鳩山民同は補正予算案通過を背景に吉田執行部に圧力をかける。1953年（昭和28年）、石橋、河野の自由党除名を取り消させると同時に、吉田側近の幹事長林譲治、総務会長益谷秀次を辞任させ、三木は益谷の後任の総務会長に就任する。三木は吉田体制の攪乱を謀り、吉田が後継者として緒方竹虎を念頭に置いていると吹き込み、広川を吉田側から離反させることに成功した。さらに、ことさら「広川幹事長・三木総務会長」との人事案を吉田陣営に提示し、「吉田が飲めば広川幹事長を通じて党を動かせる」「吉田が飲まなければ広川は吉田を恨み鳩山陣営に近づく」という王手飛車取りの策をみせた。結局広川幹事長は実現せず、水面下での広川の吉田からの離反は決定的となった。

2月28日、吉田首相は、西村栄一の質問に対してバカヤローと発言。三木は、右派社会党の浅沼稲次郎と秘密裏に会談し、内閣不信任決議案提出を考えていた浅沼を翻意させ内閣総理大臣の懲罰動機を提出させる。また戦前派代議士である大麻唯男、松村謙三らに三木武夫を加えこれらに根回しをして、さらに広川派30数名に本会議に欠席させ、懲罰動議を通過させた。

さらに、渋る野党を説得して内閣不信任決議案を提出させ、三木は内閣不信任決議案を取引材料に吉田と会談し、辞職を迫った。しかし吉田は会談を拒否し、鳩山民同22名は自由党を脱党。内閣不信任決議案に賛成投票する。3月14日、衆議院は賛成229票、反対218票で吉田内閣不信任決議案を可決した。さらに広川ら16名も脱党し、分派自由党を結成。

吉田は直ちに衆議院を解散した（バカヤロー解散）。選挙の結果は、自由党が23名減の199議席だが、依然第一党の地位を確保し、分派自由党は35議席にとどまった。選挙から半年後の11月に吉田鳩山会談がもたれ、鳩山派の多くは自由党に復党。三木、河野、松田竹千代、松永東、中村梅吉、山村新治郎、池田正之輔、安藤覚の8人だけは復党を拒絶し、日本自由党を結成した。このメンバーのことを「七人の侍」をもじって8人の侍という。

1954年（昭和29年）1月、保全経済会事件が発覚。この事件はさらに造船疑獄へと発展し、自由党の幹事長佐藤栄作、政務調査会長池田勇人に疑惑が持たれる。この間、自由党、改進党、分派自由党が集まり、統一保守党結成に向け、各党代表者間で話し合いが持たれたが、決裂。三木はこの機を逃さず、改進党の大麻唯男、三木武夫、自由党の鳩山一郎、岸信介と結んで、反吉田の新党結成に乗り出す。11月に日本民主党が結成、鳩山一郎は総裁、岸信介は幹事長三木は総務会長に就任した。

12月、吉田内閣はついに総辞職し、第1次鳩山一郎内閣が成立した。「鳩山首相、三木衆院議長」という三木の宿願の半分は達成された。だが、その後の総選挙の直後に行われた衆議院議長選挙では、日本民主党以外の党が一致して自由党の益谷秀次を統一候補として出したために、慣例では議長に就く筈の与党候補の三木は落選してしまい、宿願のもう半分は幻と消えた。
保守合同から死去まで保守合同に向けて会合を開く日本民主党と自由党の指導部（1955年夏）。左から大野、三木、岸、石井

1955年（昭和30年）4月13日、三木は保守政党の結集を呼びかけ、そのために鳩山内閣が障害となるなら鳩山内閣総辞職も辞さないと発表する。三木は、社会党再統一に危機を抱いていた。また、この時期、医者から癌のため余命もって3年を宣告されていた。三木は党内合意を取り付けに動くと同時に、自由党に工作を開始する。

5月15日、三木は自由党総務会長の大野伴睦と会談を持つ。大野は戦前以来の鳩山側近であったが、嘗ては鳩山とは敵対関係であった三木が鳩山の一番の側近に納まったことで、居場所を失い、鳩山の許を去ったと言う事情があり、三木が最も恨まれていた相手の一人であった。だが、三木は浪花節と愛国の情をもって、巧みに大野をかき口説き、大野の賛成を得る。

岸三木石井大野四者会談が持たれ公式に自由・民主両党間で保守合同に向けて動き出す。これに対して民主党内では三木武夫、松村謙三らが保守二党論をもって反撃する。議論がまとまらない中、鳩山首相は涙ながらに内閣総辞職を口走り、これに慌てた一同は保守合同に賛成することになる。

しかし、最後に総裁に誰がつくかをめぐり自由・民主両党は議論が平行線をたどった。結果、総裁を棚上げし、総裁代行委員を設置、結党後、公選により総裁を選出することが決定された。こうして、困難と思われた保守合同が成し遂げられ、日本初の統一保守党・自由民主党が結成された。三木は、鳩山、緒方、大野とともに総裁代行委員に就任した（5ヵ月後、鳩山が自民党総裁に就任）。この際、三木は「（総理は）鳩山の後は緒方、岸、池田とここまでは予想できる」と論評した。もっとも複雑な対立関係を孕んだままスタートした自民党の将来には「10年持てば」と評したことがよく知られている。三木の葬儀（1956年7月）

1956年（昭和31年）4月から病床に臥すようになり、容態は次第に悪化していった。7月4日に東京都目黒区の自宅で現職のまま死去、71歳[10]。死因は胃癌だったといわれる。死没日をもって勲一等旭日大綬章追贈、正三位に叙される[11]。
エピソード
発言

初当選した1917年（大正6年）の第13回衆議院議員総選挙の演説会において、立憲政友会の候補、坪谷善四郎が「名前は言わないが、某候補は家賃を2年分も払っていない。米屋にも、1年以上ためている。このような男が、国家の選良として、議政壇上で、国政を議することができるでありましょうか。この一事をもってしても某候補のごときは、いさぎよく立候補を辞退すべきものと、私は信ずるのであります」と三木を批判した。すると三木は次の演説会場で、「某候補がしきりと、借金のあるものが立候補しているのはけしからんと、攻撃しているそうだが、その借金がある某候補とは、かく言う不肖この三木武吉であります。三木は貧乏ですから、借金があります。米屋といわれたが、それは山吹町の山下米屋であります。1年以上借金をためているといわれたがそれは間違いで、じつは2年以上もたまっております。家賃もためているのは2年以上ではない。正確にいいますれば、3年以上も支払いを待ってもらっておるわけです。間違いはここに正しておきます」と反論し、会場は拍手と爆笑に包まれ、「えらいぞ、借金王」と野次が飛んだ。その会場には、三木の大家や借金先の山下米店の主人山下辰次郎も来ており、その後、三木に促されて両者とも立ち上がった。その時山下が「私は米屋の山下です。どうか皆さん、三木先生をご支援願います」と述べ、すっかり参った坪谷はそれ以来三木の借金の話をしなくなった。

戦後、公職追放解除後の第25回衆議院議員総選挙では、選挙中の立会演説会で対立候補の福家俊一から「戦後男女同権となったものの、ある有力候補のごときは妾を4人も持っている。かかる不徳義漢が国政に関係する資格があるか」と批判された。ところが、次に演壇に立った三木は「私の前に立ったフケ（＝福家）ば飛ぶような候補者がある有力候補と申したのは、不肖この三木武吉であります。なるべくなら、皆さんの貴重なる一票は、先の無力候補に投ぜられるより、有力候補たる私に…と、三木は考えます。なお、正確を期さねばならんので、さきの無力候補の数字的間違いを、ここで訂正しておきます。私には、妾が4人あると申されたが、事実は5人であります。5を4と数えるごとき、小学校一年生といえども、恥とすべきであります。1つ数え損なったとみえます。ただし、5人の女性たちは、今日ではいずれも老来廃馬と相成り、役には立ちませぬ。が、これを捨て去るごとき不人情は、三木武吉にはできませんから、みな今日も養っております」と愛人の存在をあっさりと認め、さらに詳細を訂正し、聴衆の爆笑と拍手を呼んだ。この選挙では三木がトップ当選を果たし、福家は最下位で落選している[12]。

「およそ大政治家たらんものはだ、いっぺんに数人の女をだ、喧嘩もさせず嫉妬もさせずにだ、操っていくぐらい腕がなくてはならん」と、男っぷり溢れる発言をしたり、松竹梅といわれた3人の妾 (ちなみにこれは、愛人のランクではなく、実際に名前が松子、竹子、梅子だった) を囲ったりした。松子には神楽坂で待合茶屋を持たせた。