1913年、牛込区議会議員に当選。次いで衆議院議員総選挙に立候補するが、落選。1916年、憲政会に入党し、翌1917年の衆議院議員総選挙で衆議院議員に当選する。
衆議院議員に当選した三木は頭角をあらわし、特に舌鋒鋭く政府を批判し、「ヤジ将軍」の名を欲しいままにした。1920年6月29日から開会された第43議会では、原敬内閣の高橋是清大蔵大臣が海軍予算を説明中、「陸海軍共に難きを忍んで長期の計画と致し、陸軍は十年、海軍は八年の…」と言いかけたときに、「ダルマは九年!」のヤジは余りにも有名である。また、普通選挙をめぐり床次竹二郎内務大臣と論戦を展開し、濱口雄幸の目にとまる。
1922年6月には、東京市議会議員にも立候補し当選。東京市政浄化を主張して市政革新同盟を結成し、政友会系の新交会と対決する。後に同志となる鳩山一郎は、新交会でこの時点では東京市政をめぐり政敵であった。1923年1月、当選2回、39歳の若さで憲政会幹事長に抜擢され、同年5月の総選挙で憲政会を指揮、憲政会は第一党となり、6月護憲三派（憲政会、立憲政友会、革新倶楽部）による第一次加藤高明内閣が成立した。
三木は、かねてから私淑していた濱口が大蔵大臣に就任したことにより、濱口蔵相のもと大蔵参与官に任命される。1927年には濱口を代表とする立憲民政党に参加する一方で、欧州視察に出発。こうして三木の戦前における政治生活は絶頂を迎えるが、好事魔多しの喩え通り、1928年の京成電車疑獄事件に連座し、有罪判決を受け一時政界を去ることになった。
1939年、報知新聞社社長に就任。1942年、衆議院議員総選挙（いわゆる「翼賛選挙」）に非推薦で出馬し当選、政界に復帰。この選挙では鳩山一郎も非推薦で当選している。戦前、鳩山は政友会、三木は民政党の幹部であり、お互いに敵同士であったが、戦時中はともに軍部に抵抗する自由主義政党人として、鳩山と三木は将来の「鳩山首相、三木衆院議長」を誓い合う。同年8月には買収合併の形で報知新聞社を読売新聞に譲渡した。
終戦後、三木は日本自由党の創立に参画。1946年4月、衆議院議員総選挙で自由党は第一党となり、鳩山内閣成立が現実味を帯びたものとなるが、鳩山は組閣直前に公職追放となり、内閣成立は一歩手前で頓挫。鳩山に代わって吉田茂が自由党総裁となり、吉田内閣を組閣した。
吉田は戦前、政党が軍部に恭順したことに嫌悪感を持っていたため、河野一郎幹事長や総務会長の三木ら自由党幹部に相談せず人事を決める。自由党執行部は激昂し、吉田総裁を除名すべしとの極論も出るが、三木は吉田首班を認めない場合、社会党に政権が行く可能性ありとして党内世論の沈静化に努めた。
第1次吉田内閣成立の2日後、1946年5月24日に三木も公職追放を受ける。
1951年6月24日に公職追放令が解除されると、三木は鳩山、河野らと共に吉田打倒に動き出した。自由党に復帰するが、すでに自由党は吉田直系の「吉田学校」で固まっており、「鳩山復帰後は総裁を譲るという約束」は事実上反故にされ、鳩山、三木、河野らは新党結成を目指した。
しかし、鳩山が脳溢血で倒れ、新党結成は頓挫、三木は自由党内での反吉田闘争に路線を変更する。三木は「寝業師」としてあらん限りの智謀を傾け反吉田闘争の先頭に立つ。これに対して吉田は政治顧問、松野鶴平の助言で1952年8月、抜き打ち解散を実施して、鳩山派を揺さぶった。また、広川弘禅の入れ知恵で吉田は反党的言動を理由に石橋湛山、河野一郎の両名を自由党から除名した。
総選挙の結果、自由党は第一党となり、第4次吉田内閣が成立する。鳩山派は党内野党ともいうべき「民主化同盟」（民同）を結成。池田勇人通商産業大臣の「中小企業の一つや二つ倒産し、自殺してもやむを得ぬ」と失言に対し野党から池田通産相不信任案が提出されると、鳩山民同は本会議を欠席し、不信任案を可決させ、池田は通産相を辞任した。
12月、鳩山民同は補正予算案通過を背景に吉田執行部に圧力をかける。1953年、石橋、河野の自由党除名を取り消させると同時に、吉田側近の林譲治幹事長、益谷秀次総務会長を辞任させ、三木は益谷の後任の総務会長に就任する。三木は吉田体制の攪乱を謀り、吉田が後継者として緒方竹虎を念頭に置いていると吹き込み、広川を吉田側から離反させることに成功した。
2月28日、吉田首相は、西村栄一の質問に対してバカヤローと発言。三木は、右派社会党の浅沼稲次郎と秘密裏に会談し、内閣総理大臣の懲罰動機を提出させる。また戦前派代議士である大麻唯男、松村謙三らに三木武夫を加えてこれらに根回しをして、さらに広川派30数名に本会議に欠席させ、懲罰動議を通過させた。
さらに、渋る野党を説得して内閣不信任決議案を提出させ、三木は内閣不信任決議案を取引材料に吉田と会談し、辞職を迫った。しかし吉田は会談を拒否し、鳩山民同22名は自由党を脱党。内閣不信任決議案に賛成投票する。3月14日、衆議院は賛成229票、反対218票で吉田内閣不信任決議案を可決した。さらに広川ら16名も脱党し、分派自由党を結成。