1951年6月24日に公職追放令が解除されると、三木は鳩山、河野らと共に吉田打倒に動き出した。自由党に復帰するが、すでに自由党は吉田直系の「吉田学校」で固まっており、「鳩山復帰後は総裁を譲るという約束」は事実上反故にされ、鳩山、三木、河野らは新党結成を目指した。
しかし、鳩山が脳溢血で倒れ、新党結成は頓挫、三木は自由党内での反吉田闘争に路線を変更する。三木は「寝業師」としてあらん限りの智謀を傾け反吉田闘争の先頭に立つ。これに対して吉田は政治顧問、松野鶴平の助言で1952年8月、抜き打ち解散を実施して、鳩山派を揺さぶった。また、広川弘禅の入れ知恵で吉田は反党的言動を理由に石橋湛山、河野一郎の両名を自由党から除名した。
総選挙の結果、自由党は第一党となり、第4次吉田内閣が成立する。鳩山派は党内野党ともいうべき「民主化同盟」（民同）を結成。池田勇人通商産業大臣の「中小企業の一つや二つ倒産し、自殺してもやむを得ぬ」と失言に対し野党から池田通産相不信任案が提出されると、鳩山民同は本会議を欠席し、不信任案を可決させ、池田は通産相を辞任した。
12月、鳩山民同は補正予算案通過を背景に吉田執行部に圧力をかける。1953年、石橋、河野の自由党除名を取り消させると同時に、吉田側近の林譲治幹事長、益谷秀次総務会長を辞任させ、三木は益谷の後任の総務会長に就任する。三木は吉田体制の攪乱を謀り、吉田が後継者として緒方竹虎を念頭に置いていると吹き込み、広川を吉田側から離反させることに成功した。
2月28日、吉田首相は、西村栄一の質問に対してバカヤローと発言。三木は、右派社会党の浅沼稲次郎と秘密裏に会談し、内閣総理大臣の懲罰動機を提出させる。また戦前派代議士である大麻唯男、松村謙三らに三木武夫を加えてこれらに根回しをして、さらに広川派30数名に本会議に欠席させ、懲罰動議を通過させた。
さらに、渋る野党を説得して内閣不信任決議案を提出させ、三木は内閣不信任決議案を取引材料に吉田と会談し、辞職を迫った。しかし吉田は会談を拒否し、鳩山民同22名は自由党を脱党。内閣不信任決議案に賛成投票する。3月14日、衆議院は賛成229票、反対218票で吉田内閣不信任決議案を可決した。さらに広川ら16名も脱党し、分派自由党を結成。
吉田は直ちに衆議院を解散した（バカヤロー解散）。選挙の結果は、自由党が23名減の199議席だが、依然第一党の地位を確保し、分派自由党は35議席にとどまった。選挙から半年後の11月に吉田・鳩山会談がもたれ、鳩山派の多くは自由党に復党。三木、河野、松田竹千代、松永東、中村梅吉、山村新治郎、池田正之輔、安藤覚の8人だけは復党を拒絶し、日本自由党を結成した。このメンバーのことを「七人の侍」をもじって8人の侍という。
1954年1月、保全経済会事件が発覚。さらにこの事件は、造船疑獄に発展し、自由党の佐藤栄作幹事長、池田勇人政務調査会長に疑惑が持たれる。この間、自由党、改進党、分派自由党が集まり、統一保守党結成に向け、各党代表者間で話し合いが持たれたが、決裂。三木はこの機を逃さず、改進党の大麻唯男、三木武夫、自由党の鳩山一郎、岸信介と結んで、反吉田の新党結成に乗り出す。11月に日本民主党が結成、鳩山一郎・総裁、岸信介・幹事長、三木は総務会長に就任した。
12月、吉田内閣はついに総辞職し、第1次鳩山内閣が成立した。「鳩山首相、三木衆院議長」という三木の宿願の半分は達成された。だが、その後の総選挙の直後に行われた衆議院議長選挙では、日本民主党以外の党が一致して益谷秀次を統一候補として出したために、慣例では議長に就く筈の与党候補の三木は落選してしまい、宿願のもう半分は幻と消えた。
1955年4月13日、三木は保守政党の結集を呼びかけ、そのために鳩山内閣が障害となるなら鳩山内閣総辞職も辞さないと発表する。三木は、日本社会党統一に危機を抱いていた。また、この時期、医者から癌のため余命もって3年を宣告されていた。三木は党内合意を取り付けに動くと同時、に自由党に工作を開始する。
同年5月15日、三木は自由党総務会長の大野伴睦と会談を持つ。大野は戦前以来の鳩山側近であったが、嘗ては鳩山とは敵対関係であった三木が鳩山の一番の側近に納まったことで、居場所を失い、鳩山の許を去ったと言う事情があり、三木が最も恨まれていた相手の一人であった。だが、三木は浪花節と愛国の情をもって、巧みに大野をかき口説き、大野の賛成を得る。
岸・三木・石井・大野四者会談が持たれ公式に自由・民主両党間で保守合同に向けて動き出す。これに対して民主党内では三木武夫、松村謙三らが保守二党論をもって反撃する。議論がまとまらない中、鳩山首相は涙ながらに内閣総辞職を口走り、これに慌てた一同は保守合同に賛成することになる。
しかし、最後に総裁に誰がつくかをめぐり自由・民主両党は議論が平行線をたどった。結果、総裁を棚上げし、総裁代行委員を設置、結党後、公選により総裁を選出することが決定された。こうして、困難と思われた保守合同が成し遂げられ、日本初の統一保守党・自由民主党が結成された。三木は、鳩山、緒方、大野とともに総裁代行委員に就任した（5ヵ月後、鳩山が自民党総裁に就任）。この際、三木は「（総理は）鳩山の後は緒方、岸、池田とここまでは予想できる」と論評した一方、保守合同した自民党については党内に複雑な対立関係が存在したために「10年持てば」とも評していた（総理の流れは急死した緒方の代わりに石橋湛山になったこと以外は的中させている。また自民党崩壊論については、衆議院第一党としての位置は50年後の現在も崩されていない）。
1956年7月4日死去。72歳だった。
エピソード
選挙中の立会演説会において、相手候補から「さる有力候補は愛人を3人も囲っている」と批判された。ところが、次に演壇に立った三木は「さきほどの弱小候補が述べた愛人を囲っておる有力候補とは不肖わたくしであります」と愛人の存在をあっさりと認め、さらに「先ほどの候補は3人と申しましたが、正しくは5人であります。それも今は年を取り役にたちませんがこれを捨てるに忍びず、現在も誰一人捨てた事がありませぬ」と反論した。その率直さが好感を呼んで選挙では当選を果たした。
「女3人も喧嘩させずに御せないで一国の総理になれるか!」と、男っぷり溢れる発言をしたり、松竹梅といわれた3人の妾を囲ったり (ちなみにこれは、愛人のランクではなく、実際に名前が松子、竹子、梅子だった) した。