徳島県板野郡土成町吉田（現・阿波市）に農業のかたわら肥料商を営む父・三木久吉の長男として生まれる。
学歴は明治大学専門部商科卒業後、アメリカ留学を経て、明治大学法学部卒業（在学中は雄弁部にて活躍）。
三木は戦前の帝国議会時代からの代議士であるが、軍部に対しては批判的な立場を取り、大日本帝国憲法の起草者の一人である金子堅太郎を担いで「日米同志会」を結成して対米戦争反対の論陣を張った。また大政翼賛会にも参加せず、翼賛選挙も非推薦で当選した。
戦後は公職追放を免れ、保守・革新の双方と一線を画した中間派政党の国民協同党では書記長を務め、日本社会党首班の片山哲内閣で初めて入閣（逓信大臣）した。その後は保守勢力との協力を進め、最終的には重光葵の改進党、鳩山一郎の日本民主党を経て保守合同に参加し、自由民主党に加わった。
自民党結成後は石橋湛山・岸信介・池田勇人・佐藤栄作総理総裁の下で幹事長を歴任する（岸・佐藤兄弟の下では、残務整理の為、幹事長に留任した）。
佐藤内閣では外務大臣の時には非核三原則が返還後の沖縄にも適用されると明言して佐藤の怒りを買い、事実上更迭される。これに対して1968年の自由民主党総裁選挙に「男は一度勝負する」という言のもとに出馬、大方の予想を反して大善戦するも敗退。2年後の同選挙にも周囲の反対に対して「私は何も恐れない。ただ大衆のみを恐れる」と述べて再出馬し、一定の票を取るが敗退している。
1972年、福田赳夫と田中角栄の争う総裁選では、自身も出馬するも日中国交樹立に積極的な田中を支持し田中は当選、田中内閣における副総理兼環境庁長官に就任する。しかし、1974年の参議院選挙の1人区の徳島県選挙区で、新人で田中角栄が後藤田正晴を自民党の公認候補として三木派で現職の久次米健太郎を非公認としたことから三木は反発。選挙では久次米が再選されるも、今まで関係の良かった田中首相と大きく対立し、単独で副総理を辞任。1951年、国民民主党幹事長として代表質問1952年、改進党結成、幹事長に就任。左から三木、重光葵総裁、楢橋渡1975年、フランスイル＝ド＝フランス地域圏イヴリーヌ県ランブイエにて第1回先進国首脳会議（ランブイエサミット）に出席
1974年12月田中総理の内閣総辞職で行われた後継総理選出において、椎名悦三郎副総裁の指名裁定で総裁に就任（椎名裁定）。この裁定は三木自身が「青天の霹靂」とコメントしたほど意外性をもって受け止められた（なお、三木には椎名裁定以前に椎名から事前に指名される旨が伝えられている）。
三木政権は政治浄化に着手し、公職選挙法の政治資金規正法の改正し、防衛費1%枠を閣議決定した。
ロッキード事件が起こると三木おろしの倒閣運動が起こる。しかしこの動きは「ロッキード隠し」としてマスコミや世論の反発に遭い挫折し、三木政権は延命する。世論を背景とした三木はロッキード事件の全容解明を表明。事件において存在したとされる金銭授受に関連して、外為法違反の疑いでの検察による田中逮捕を許可した（法務大臣が中曾根派の稲葉修であったことも疑惑追及に資することになった）。ロッキード事件での田中の逮捕を逆指揮権発動によるものとみなした田中派からは稲葉と共に激しい攻撃の対象となった。
この逮捕により、「もはやロッキード隠しとは言われない」として三木おろしが再燃、反主流6派による「挙党体制確立協議会」（挙党協）が結成される。田中派・大平派・福田派だけでなく、中間派とされた椎名派・水田派・船田派が賛同し、政権主流派に与するのは三木派の他は中曽根派だけとなる。三木は内閣改造を行ったが、ここで田中派からの入閣は科学技術庁長官1名だけであり、三木も田中との対決姿勢を改めて鮮明にする。
三木は党内分裂状態が修復できないまま解散権を行使できず、戦後唯一の任期満了による衆議院議員総選挙をむかえた。この選挙では挙党協は党本部とは別に選挙本部を設置し、自民党は分裂選挙の様相を示した。総選挙で自民党は追加公認を含めて過半数を維持するものの8議席減らす。三木内閣そのものというより、ロッキード事件への批判が自民党自体を直撃したと言えるが、それでも三木は責任を取って退陣した。
当選19回、議員在職51年。政界浄化・政治改革に執念を燃やしたその政治姿勢から、“ダーティ田中”こと田中前首相との対比で“クリーン三木”、“議会の子”の異名を支持者から奉られていた。
