1974年（昭和49年）7月の第10回参院選では過半数の議席を維持したものの、与野党の議席数の差がわずかとなり、「保革伯仲（伯仲国会）」と呼ばれる時代となった[89]。同年12月には田中金脈問題で田中は総理総裁を辞任した。田中の後継総裁選は行われず、自由民主党副総裁の椎名悦三郎による指名（いわゆる椎名裁定）と両院議員総会の承認により三木武夫が総理総裁に就任した。三木は党の近代化や政治浄化、不況の克服を掲げた。

1976年（昭和51年）2月にはロッキード事件が発覚した。同年6月には党所属の河野洋平、山口敏夫ら6人の国会議員が離党し、「腐敗との決別」をキャッチフレーズとした新自由クラブを結成した。同年7月には東京地検特捜部が田中角栄を逮捕し、田中は自民党を離党した。総理大臣経験者の逮捕は党内外に衝撃を与えた。同年8月には田中は受託収賄罪と外為法違反容疑で起訴された。三木や法務大臣の稲葉修はロッキード事件解明に積極的な立場を取ったが党内は反発し、三木おろしの動きが強まった。党内の動きに対して三木は対抗し、反発する閣僚を罷免して衆議院を解散する構えを見せたが結局、任期満了まで解散しなかった。同年12月に行われた第34回総選挙で自民党は結党以来初めて過半数割れとなった。三木は選挙の責任を取り総理総裁を辞任した。なお、田中は離党しながらも最大派閥のオーナーとして強い影響力を保持していた[90]。

1976年（昭和51年）12月に福田赳夫が執行部による推挙と両院議員総会の承認により総理総裁に就任した。この際には福田が先に総理総裁を一期だけ務めた後、大平に交代することを示唆した大福密約があったとされる[91]。福田内閣は当初、内閣支持率は低かった[91] が、景気回復や外交で成果を上げていくようになった。また、伯仲国会という状況下ではあったが執行部が野党の一部に対して部分連合を呼びかけるなど協調的でもあり、それほど問題とならなかった。なお、自民党は1977年（昭和52年）に党員、党友参加による総裁選の導入を決めた。また、党友組織の自由国民会議も結成した。さらに派閥解消が唱えられ、各派閥は形だけではあるが解散した[92]。

自民党と統一教会系の国際勝共連合との協力関係は、1978年当時の福田赳夫内閣総理大臣が参議院予算委員会で公式に認めている。勝共連合から自民党へ多額の政治献金がなされていたこと、勝共連合からの借入金の存在が当時の自治省の資料より確認できる[93]。1980年代に世界基督教統一神霊協会の霊感商法が社会問題になったが、教団による選挙支援と議員による教団への賛同などの形で、党と教団の関係は保たれていった[94]。

1978年（昭和53年）の自民党総裁予備選挙に福田は大福密約を無視して立候補するも、田中派の支持に支えられた大平が勝利し、福田は本選進出を辞退し、大平が総理総裁に就任した。大平は、1979年（昭和54年）10月の第35回総選挙で一般消費税の導入を公約として掲げたが自民党は前回の衆議院議員総選挙に続いて過半数割れとなった。党内で大平の責任が追及されたものの大平は辞任要求には応じず、選挙後の首班の座を巡って福田と争いが起きて事実上の党内分裂状況に陥った。特別国会での首班指名選挙の投票の結果は僅差であったが大平が勝利した。同年11月の第2次大平内閣の発足で一旦、抗争は収まったがこの抗争は後に四十日抗争と呼ばれた。

1980年（昭和55年）5月16日、社会党が衆議院に大平内閣不信任決議案を提出した。自民党内で反主流派となっていた三木派や福田派などの議員69人は本会議を欠席して不信任決議案は可決され、史上初の衆参同日選挙となった。なお、この解散劇は予測に反したハプニング的な解散であることからハプニング解散と呼ばれた。総選挙が公示された5月30日に大平は心筋梗塞の発作を起こして入院し、選挙期間中の6月12日に急死した。6月22日に行われた衆参同日選挙の結果は大平が死去したものの自民党の勝利となり、衆参ともに過半数の議席を確保し安定多数を得た。大平の後継の総理総裁には大平派の鈴木善幸が就任し「和の政治」を掲げて党内融和と国内融和に尽力した。
保守回帰と二重権力構造

1980年代に入ると革新自治体も減少し、都市部を中心に自民党への回帰現象が起こった。

1982年（昭和57年）11月の総裁選に鈴木善幸は立候補せず、中曽根康弘、河本敏夫、安倍晋太郎、中川一郎の4人が立候補した。党員党友参加による予備選挙で中曽根康弘が半数を超える票を獲得したため、2位以下の候補は本選挙を辞退し、中曽根が総理総裁に就任した。中曽根派は小派閥であり、党内基盤が弱く、総裁選では党内最大派閥である田中派の力を借りる形になった結果、田中派の議員は党と内閣人事で主要ポストを占めて優遇されたため、第1次中曽根内閣は田中角栄の影響力の強さをマスコミや野党から指摘され、「田中曽根内閣」や「直角内閣」などと呼ばれた[87]。

中曽根は、スローガンとして「戦後政治の総決算」を掲げた。具体的には行政改革、公社の民営化、規制緩和、民間活力の活用などの新保守主義的な政策を打ち出した。また、教育改革、国防の見直し、靖国神社公式参拝問題などの点で保守的な言動を行った。外交面では1983年（昭和58年）1月の訪米の際でのロナルド・レーガン大統領との会談で「日米両国は太平洋を挟む運命共同体」と発言するなど日米関係強化に努め、冷戦下での西側諸国の一員としての立場を明確に表明した。

1983年（昭和58年）10月12日、東京地裁はロッキード事件に関して田中角栄に有罪判決を下した。野党は田中に対して議員辞職を求めたが田中は議員辞職を拒否し、国会は紛糾した。野党は国民の審判を求めて衆議院解散を要求した。田中も有罪判決後早期の選挙による禊決着を図った。結局、衆参両院議長のあっせんもあり、中曽根は衆議院を解散した（田中判決解散）。同年の第37回総選挙で公認候補の当選者数が衆議院での過半数を割る（これまで同様、保守系無所属議員の追加公認で過半数を確保）と、中曽根は「いわゆる田中氏の政治的影響を一切排除する。政治倫理を高揚し、党体質の抜本的刷新に取り組み、清潔な党風を確立する」との総裁声明を発表した。12月27日、自民党は新自由クラブと連立政権（第2次中曽根内閣）を組んで安定多数を確保した。

1984年（昭和59年）に鈴木善幸や福田赳夫らが田中派大番頭の二階堂進を総裁に推す二階堂擁立構想が同じ田中派の金丸信によって潰されると、やがて田中派は分裂の兆しを見せ始める。ついに1985年（昭和60年）2月に田中派内で竹下を支持する勢力が田中に反旗を翻す形で派中派である創政会（のちの経世会）を結成した。田中は木曜クラブを離脱した竹下に対して「同心円でいこう[95]」と融和的発言を行ったが、同月、脳梗塞で入院した。田中は障害が残って政治活動は出来なくなり、かつての政治力を失った。代わって、田中派を離脱した竹下が金丸信の後ろ盾により台頭するようになる。

中曽根主導の下、1986年（昭和61年）6月に国会は解散（死んだふり解散）され、7月の衆参同日選挙（第38回総選挙、第14回参院選）で自民党は追加公認込みで衆参それぞれ304議席（衆議院）、74議席（参議院）を獲得した。選挙後、特例で中曽根の党総裁任期一年延長が決まった。また、8月に新自由クラブは解党し、多くの党員は自民党に合流した。

1987年（昭和62年）10月の総裁選ではニューリーダーと呼ばれた安倍晋太郎、竹下登、宮澤喜一のいわゆる安竹宮3人が立候補したものの、かつてのような激しい抗争を嫌った3人は話し合いをした結果、候補者一本化を中曽根に委ねた。結果として竹下を総裁にするという中曽根裁定が下った。なお、このとき皇民党事件が同時に進行していた。