精三の死後、その後援会から一致して後継者に推され[6]、1971年5月、次期衆議院議員総選挙への出馬を表明する。加藤の妻は、群馬県高崎の生まれで中曽根康弘の娘と幼馴染であり、妻は父を早くに亡くしたため、加藤の結婚式には中曽根が新婦の親代りで出席した。この縁から、中曽根は加藤が出馬を決めると、「政治家になるなら、俺のところでやれ」と言うが、加藤は中曽根とは肌が合わないとして誘いを断り[7]、外務省中国課長をしていた橋本恕の紹介で田中角栄秘書の早坂茂三と会った。そして、田中派から立候補をしたいとの意向を伝えると、早坂は「ありがたいことですが、むつかしい。山形2区には酒田に池田正之輔、新庄（真室川）に松沢雄蔵がいる。二人共、角栄とは因縁浅からざるものあり。同じ選挙区に、あなたをお迎えするのは、いかに角栄といえどもできない。そのかわり、と申しては失礼ですが、角栄の盟友、大平正芳のところにワラジを脱いだらいかがですか」と田中と打ち合わせずみの口上を言い、大平派に身を寄せることを勧めた[6]。同年12月をもって外務省を退官。翌1972年2月、外務事務次官・法眼晋作の仲介で大平に会い、大平派に加わる（精三と大平は1952年の総選挙当選同期である）。政治家を志した理由はニクソンショックが日本に事前に一切知らされなかった事に衝撃を受け、官僚の限界を悟ったからだと後の回想録などで語っている。

1972年12月の第33回衆議院議員総選挙に山形2区から自由民主党公認で出馬し、初当選した[8]。この総選挙では、東大1959年入学同期3人（加藤紘一、与謝野馨 、田中秀征）の若手候補が立候補すると週刊誌に取り上げられた[9]。1978年、当選2回で第1次大平内閣の内閣官房副長官に抜擢される。同年12月、衆議院議事進行係に就任。1979年、第35回衆議院議員総選挙で3選、これを受けて成立した第2次大平内閣でも官房副長官に再任された。1980年前後には官房副長官として三里塚闘争を行っていた一部反対派との水面下での交渉を行い、成田空港問題解決に取り組んだが、情報流出により実現しなかった。

1984年、第2次中曽根改造内閣で防衛庁長官に任命され、初入閣[10]。第2次中曽根再改造内閣でも留任。1985年8月12日、日航機123便墜落事故が起きる。1991年の宮澤内閣で内閣官房長官に就任、2度目の入閣を果たす[10]。官房長官在任中、「朝鮮半島出身者のいわゆる従軍慰安婦問題に関する内閣官房長官発表」、通称「加藤談話」[注釈 2]を発表している[11]。

1994年7月、自民党は第40回衆議院議員総選挙での敗北以来10ヶ月ぶりに与党に復帰し、加藤は総裁・河野洋平の下、自民党政調会長に就任。一貫して自社さ連立を支持し、梶山静六ら保保連合派を牽制し続けた（梶山も一時は自社さ派だった）。翌1995年、総裁・橋本龍太郎の下で自民党幹事長に起用される。党幹事長として臨んだ第41回衆議院議員総選挙では小沢一郎率いる新進党との二大政党対決を勝利に導いた。その後、党幹事長代理の野中広務と新進党議員の引き抜き工作を行い、自民党の衆議院における単独過半数復帰を実現した。

1998年7月の第18回参議院議員通常選挙で自民党は大敗、党幹事長を辞職するも後継総裁として小渕を支持、党内第2派閥として影響力を維持した。12月に元首相の宮澤喜一から派閥を禅譲され、宏池会会長に就任した[12]。

2000年の加藤の乱により、宏池会が分裂[12]。

2001年12月、衆議院テロ対策特別委員長就任。

2002年3月、自身の秘書の脱税容疑での逮捕を受け宏池会会長を辞任し、自民党を離党[12][13]。同年4月に衆議院議員を辞職した。2003年の第43回衆議院議員総選挙では無所属として立候補し、11度目の当選を果たし国政に復帰。その後、自民党に復党、宏池会最高顧問に就任した。

2005年9月、宏池会最高顧問辞任、宏池会退会。

2006年8月15日午後5時50分頃、加藤紘一宅放火事件が発生。事件に対して、自民党の稲田朋美が、保守派のシンポジウムにおいて「先生の家が丸焼けになった」と軽い口調で話題に出し、大きな批判を浴びた[14]。その一方、日本共産党や社会民主党の議員らは加藤の発言に同調を示したため、加藤は党派を超えた左派陣営との連携を意識し始める。

2007年2月、自民党の山崎拓、民主党の仙谷由人、枝野幸男、公明党の東順治、社民党の辻元清美らと超党派勉強会「ビビンバの会」を立ち上げる。

2008年7月3日、日中友好協会の会長に就任。

2009年1月の地元で行われた山形県知事選挙では現職の齋藤弘を支援したが、斎藤は岸宏一と舟山康江が支援した対立候補・吉村美栄子に1万票の差を付けられて落選した。9月の第45回衆議院議員総選挙では全国的に自民党に逆風が吹き荒れる中、小選挙区で13回目の当選を果たした。

2012年12月の第46回衆議院議員総選挙に際しては、自民党執行部と同党山形県連が加藤を継続公認したことに対し、山形県選挙区選出の同党参議院議員である岸宏一が反発し、前酒田市長の阿部寿一を擁立したため、自民党系候補者同士による分裂選挙となった。反自民党勢力をも糾合した阿部に対し、選挙活動中も言語および歩行障害がみられた加藤は十分な支持を得られず接戦の末に敗れた。さらに、同党の比例代表では73歳以上の立候補は原則認められないため、比例東北ブロックとの重複立候補をしておらず、議席を失った[15]。なお、東北ブロックの小選挙区から立候補した自民党候補者の中では加藤以外全員が小選挙区ないし比例代表で当選しており、加藤は東北地方で唯一落選した自民党選挙区候補者となった。
政界引退後

落選後も政治活動を続け、2013年1月には日中友好協会会長及び同会訪中団団長として元首相の村山富市（日中友好協会名誉顧問・同協会訪中団名誉団長）や元防衛庁長官（自民党衆議院議員）の中谷元らと伴に、中華人民共和国を訪問。