翌年の1905年（明治38年）に日本銀行に入行、門司支店に配属となるが、ポーツマス条約に反対する政府弾劾演説会に飛び入り参加し、桂太郎内閣退陣を要求する演説をして服務規定違反を問われ免職となる。1907年（明治40年）、判事検事登用試験に合格、東京地方裁判所司法官試補に任じられるが、宮仕えは性格にあわず、7ヵ月後、弁護士となる。同年、天野かね子と結婚。
憲政会所属の政党政治家として勅任文官大礼服を着用した三木（1924年）

1913年（大正2年）、牛込区議会議員に当選。次いで衆議院議員総選挙に立候補するが、落選。1916年（大正5年）、憲政会に入党し、翌年の1917年の衆議院議員総選挙で衆議院議員に当選する。

衆議院議員に当選した三木は頭角を現し、特に舌鋒鋭く政府を批判し、「ヤジ将軍」の名をほしいままにした。1920年（大正9年）6月29日から開会された第43議会では、原敬内閣の大蔵大臣高橋是清が海軍予算を説明中、「陸海軍共に難きを忍んで長期の計画と致し、陸軍は十年、海軍は八年の…」と言いかけるや「ダルマは九年!」と飛ばしたヤジは余りにも有名である。また、普通選挙をめぐり内務大臣床次竹二郎と論戦を展開し、濱口雄幸の目に留まる。以後、三木は濱口に親炙することとなる。

1920年（大正9年）、帝国議会のシベリア出兵に関する調査団の一員として、1ヶ月間シベリアを視察した。この視察後、三木は、憲政会総裁加藤高明や濱口から高い評価を得ることとなる。

1922年（大正11年）6月には、東京市会議員にも立候補し当選。東京市政浄化を主張して市政革新同盟を結成し、立憲政友会系の新交会と対決する。後に同志となる鳩山一郎は、新交会でこの時点では東京市政をめぐり政敵であった。1924年（大正13年）1月、当選2回、39歳で憲政会幹事長に抜擢され、同年5月の総選挙で憲政会を指揮、憲政会は第一党となり、6月、護憲三派（憲政会、政友会、革新倶楽部）による第一次加藤高明内閣が成立した。

三木は、かねてから親炙していた濱口が大蔵大臣に就任したことにより、濱口蔵相のもと大蔵参与官に任命される。1927年（昭和2年）には濱口を代表とする立憲民政党に参加する一方で、欧州視察に出発。こうして三木の戦前における政治生活は絶頂を迎えるが、好事魔多しの喩え通り、1928年（昭和3年）の京成電車疑獄事件に連座、1931年（昭和6年）の一審判決で懲役4か月が言い渡される。この判決に対し「世間を騒がしたことは申し訳ない」としつつも「合法的でない裁判は不満。無実を確信しているので無罪になるまで戦う」として控訴[4]。控訴審では懲役3ヶ月に減刑されたものの上告。1934年（昭和9年）に上告が棄却されて懲役3か月の実刑判決が確定、一時政界を去ることになった[5]。これにより正五位を失位[6]、勲四等及び第一回国勢調査記念章、大礼記念章（昭和）を褫奪された[7]。

この間、1932年（昭和7年）には。東京府会市部会の正副議長選挙の推薦者をめぐり大神田軍治と衝突。激論を繰り広げた[8]。
政界復帰、公職追放

1939年（昭和14年）、報知新聞社社長に就任。1942年（昭和17年）、衆議院議員総選挙（いわゆる「翼賛選挙」）に非推薦で出馬し当選、政界に復帰。この選挙では鳩山一郎も非推薦で当選している。戦前、鳩山は政友会、三木は民政党の幹部であり、お互いに敵同士であったが、戦時中はともに軍部に抵抗する自由主義政党人として、鳩山と三木は将来の「鳩山首相、三木衆院議長」を誓い合う。同年8月には買収合併の形で報知新聞社を読売新聞に譲渡した。

終戦後、三木は日本自由党の創立に参画。1946年（昭和21年）4月、衆議院議員総選挙で自由党は第一党となり、鳩山内閣成立が現実味を帯びたものとなるが、鳩山は組閣直前に公職追放となり、内閣成立は一歩手前で頓挫。鳩山に代わって吉田茂が自由党総裁となり、吉田内閣を組閣した。

吉田は戦前、政党が軍部に恭順したことに嫌悪感を持っていたため、幹事長河野一郎や総務会長の三木ら自由党幹部に相談せず人事を決める。自由党執行部は激昂し、吉田総裁を除名すべしとの極論も出るが、三木は吉田首班を認めない場合、社会党に政権が行く可能性ありとして党内世論の沈静化に努めた。

第1次吉田内閣成立の2日後、1946年（昭和21年）5月24日に三木も公職追放を受ける。公職追放後に高松に戻るが、市内の邸宅は戦災で焼失していたため、前年11月に先行して濤洋荘に移っていた家族に合流し、荘を買い取った。追放中の5年間をここで過ごした。

追放中の1948年5月、政治資金に関する問題で衆議院不当財産取引調査特別委員会に証人喚問された[9]。
吉田内閣打倒、鳩山内閣誕生へ吉田茂の「バカヤロー発言」の後に、広川弘禅への懲罰処分問題に関して自宅で記者団と懇談する三木

1951年（昭和26年）6月24日に公職追放が解除されると、三木は鳩山、河野らと共に吉田打倒に動き出した。自由党に復帰するが、すでに自由党は吉田直系の「吉田学校」で固まっており、「鳩山復帰後は総裁を譲るという約束」は事実上反故にされ、鳩山、三木、河野らは新党結成を目指した。

しかし、鳩山が脳溢血で倒れ、新党結成は頓挫、三木は自由党内での反吉田闘争に路線を変更する。三木は「寝業師」としてあらん限りの智謀を傾け反吉田闘争の先頭に立つ。これに対して吉田は政治顧問、松野鶴平の助言で1952年（昭和27年）8月、抜き打ち解散を実施し、鳩山派を揺さぶった。また、広川弘禅の入れ知恵で吉田は反党的言動を理由に石橋湛山、河野一郎の両名を自由党から除名した。肝心の三木が除名されなかったのは、第1次吉田内閣成立時の三木の働きに吉田が恩義を感じており、三木の除名をしりぞけたためという。

総選挙の結果、自由党は第一党となり、第4次吉田内閣が成立する。鳩山派は党内野党ともいうべき「民主化同盟」（民同）を結成。通商産業大臣池田勇人の「中小企業の一つや二つ倒産し、自殺してもやむを得ぬ」との失言に対し野党から池田通産相不信任決議案が提出されると、鳩山民同は本会議を欠席し、不信任案を可決させ、池田は通産相を辞任した。

12月、鳩山民同は補正予算案通過を背景に吉田執行部に圧力をかける。1953年（昭和28年）、石橋、河野の自由党除名を取り消させると同時に、吉田側近の幹事長林譲治、総務会長益谷秀次を辞任させ、三木は益谷の後任の総務会長に就任する。三木は吉田体制の攪乱を謀り、吉田が後継者として緒方竹虎を念頭に置いていると吹き込み、広川を吉田側から離反させることに成功した。さらに、ことさら「広川幹事長・三木総務会長」との人事案を吉田陣営に提示し、「吉田が飲めば広川幹事長を通じて党を動かせる」「吉田が飲まなければ広川は吉田を恨み鳩山陣営に近づく」という王手飛車取りの策をみせた。結局広川幹事長は実現せず、水面下での広川の吉田からの離反は決定的となった。

2月28日、吉田首相は、西村栄一の質問に対してバカヤローと発言。三木は、右派社会党の浅沼稲次郎と秘密裏に会談し、内閣不信任決議案提出を考えていた浅沼を翻意させ内閣総理大臣の懲罰動機を提出させる。また戦前派代議士である大麻唯男、松村謙三らに三木武夫を加えこれらに根回しをして、さらに広川派30数名に本会議に欠席させ、懲罰動議を通過させた。

さらに、渋る野党を説得して内閣不信任決議案を提出させ、三木は内閣不信任決議案を取引材料に吉田と会談し、辞職を迫った。しかし吉田は会談を拒否し、鳩山民同22名は自由党を脱党。内閣不信任決議案に賛成投票する。3月14日、衆議院は賛成229票、反対218票で吉田内閣不信任決議案を可決した。さらに広川ら16名も脱党し、分派自由党を結成。

吉田は直ちに衆議院を解散した（バカヤロー解散）。