1969年12月、第32回衆議院議員総選挙に旧長野2区から自由民主党公認で立候補し、7万3325票を獲得し、トップ当選となる。自由民主党では、田中派に所属した。羽田は、郵政政務次官を経て、農林政務次官となり、農林族としてそのキャリアを歩むこととなる。衆議院農林水産委員長、自民党林政調査会長、総合農政調査会長などを歴任した。農林族としての羽田は、それまでのいわゆる「ベトコン議員」に代表される毎年米価を引き上げて、農村に一方的に利益を傾斜配分するものではなく、国内産業としての農業の位置づけや、国際経済における農業貿易問題を思考するもので、加藤紘一などとともに、「総合農政族」と呼ばれた。1984年には、自民党を代表し牛肉とオレンジをめぐる日米農産物交渉解決に取り組んだ。翌1985年12月、牛肉オレンジ交渉の実績が認められて、第2次中曽根内閣第2次改造内閣で農林水産大臣として初入閣する。ちなみにこの時自治大臣として小沢一郎も初入閣している。農水相としては「タブーへの挑戦」を掲げ、日米間で対立が大きくなってきたコメの自由化問題に対応する。羽田は、外国米に対して価格の高い日本米に国際競争力をつけるため、農産物価格の引き下げを断行しようとした。しかし、1986年の衆参同日選挙後、成立した第三次中曽根内閣で農水相は羽田から安倍派の加藤六月に交代し、農協の反対にもあい、米価は据え置かれることとなった。しかし、農水相を降りた羽田は、翌1987年、生産米に関しては、生産者価格を引き下げるという政府・自民党合意を取り付け、米価の引き下げを断行するに至る。
羽田は田中派の中堅議員として、次第に実力を蓄えていくが、一方で派内の世代交代を意識するようになっていった。1985年2月、竹下登による田中派の派中派・創政会に参加する。田中は2月27日脳梗塞で倒れるが、最後に政治家として公の場で発言したのは、羽田のパーティーにおいてであった。竹下派結成に際しては、竹下派七奉行の一人に数えられ、金丸信から「平時の羽田、乱世の小沢、大乱世の梶山」と称される。1987年11月、中曽根康弘首相に指名される形で念願の竹下内閣が成立する。1988年12月27日、竹下改造内閣で農水相として再入閣。しかし、竹下内閣はリクルート事件、消費税導入による世論の逆風を受け、1989年に退陣した。
海部俊樹内閣が成立すると、羽田は党幹事長となった小沢一郎に、党選挙制度調査会長就任を求められ、これを受けた。自民党内に設置された政治改革推進本部の本部長となった伊東正義、本部長代理の後藤田正晴とともに政治改革推進派の中核となる。羽田は、政治と金の問題と、国際政治に日本が対応するために政治改革を必要と考え、選挙制度改革を中心にした政治改革を主張し、金丸信から「熱病にうかされている」とまで言われる。また、党内議論の中で石破茂などの改革派若手とひざ詰めで議論し、若手の信頼を得た。羽田は、小選挙区比例代表並立制の導入を主張するが、加藤紘一、山崎拓、小泉純一郎（いわゆる「YKK」）らは、竹下派支配に反対し海部内閣倒閣を目論み、選挙制度改革を中心とする政治改革に反対して、1991年9月に政治改革関連法案は、廃案となった。政治改革が頓挫する中で若手議員は敗北感を覚えるが、羽田は、そんな中にあって若手を叱咤し、政治改革は伏流として残ることになる。
1991年11月に成立した宮沢喜一内閣で大蔵大臣として入閣。1992年、金丸の佐川急便事件に端を発した竹下派分裂に際しては、派閥会長ポストをめぐり、会長代行の小沢一郎と竹下の最側近である小渕恵三の間で派を二分する争いが起こる。羽田は、竹下から中立の立場を求められるが、小沢の側に立ち、人の悪口を言わないことで知られる竹下をして「孜がこんなに無定見とは知らなかった」と言わせしめる。羽田は、小沢、奥田敬和、渡部恒三らとともに改革フォーラム21（羽田派）を結成し代表に就任。党内第5派閥に転落した羽田派は内閣改造で冷遇され、政治改革実現を旗頭に、集団離党するのではとの観測が流れる。こうした中、1993年4月に病気辞任した渡辺美智雄の後任として、外相就任を宮沢に打診される。これは羽田を閣内に封じ込めるために後藤田正晴副総理が考えた”天元の一石”であった。しかし、羽田は、野にあって自由な行動を取ることを選択、外相就任を断った。
同年6月、宮沢内閣は政治改革関連法案成立を断念したため、羽田派は、野党の提出した宮沢内閣不信任案に賛成投票をした。
6月23日離党し、新生党を結成。党首に就任。代表幹事となった小沢による二重権力支配という批判に対しては、自分が表紙で小沢が黒子と反論ともつかぬ主張をした。ともあれ、羽田は新生党党首として全国を遊説し、新党ブームに乗って新生党は55議席を獲得する。これに先立つ、6月24日に既に、新生党、社会党、公明党、民社党、社会民主連合の5党首が非自民・非共産連立政権を目指すことに合意し、羽田は連立政権の首班候補として最有力視されていたが、日本新党代表の細川護煕を連立政権首班とすることに合意する。羽田は細川内閣の副総理兼外相となる。
細川政権は政治改革、コメの部分的自由化を実現し、新生党は連立与党の中核としてこれを支えたが、細川首相は金銭スキャンダルなどを理由に1994年4月8日電撃的に辞意を表明。後継首相について小沢は、自民党の渡辺美智雄に多数の同調者を引き連れて合流すれば首相に擁立すると持ちかけ、渡辺も一時は離党を表明するが、同調者が少数にとどまり撤回。結局、連立与党は後継首相に羽田を推すことで合意し、4月25日国会で羽田が首相に指名された。ところがその直後、連立与党のうち新生党、日本新党、民社党などが衆議院で統一会派「改新」を結成すると発表。