選挙結果や批判を受け、8月27日に内閣改造、党役員人事に着手した（安倍改造内閣）。ところが組閣直後から再び閣僚の不祥事が続き、求心力を失う。9月9日、オーストラリア・シドニーで開催されたAPEC（アジア太平洋経済協力会議）首脳会議の終了にあたって開かれた記者会見において、テロ特措法の延長問題に関し9月10日からの臨時国会で自衛隊へ給油が継続が出来なくなった場合は、内閣総辞職することを公約した。この間も安倍の健康状態は好転せず、体調不良によりAPECの諸行事に出席できない状況となり、晩餐会前の演奏会を欠席した[23]。
2007年9月10日に第168回臨時国会が開催され、安倍首相は所信表明演説を行った。その中で安倍首相は「職責を全うする」などという趣旨の決意を表明した。なお、この表明では自身の内閣を「政策実行内閣」と名づけ、「美しい国」という言葉は結びに一度使ったのみであった。午後には「（改正案を通すのは）厳しいでしょうか」と辞任を示唆する発言を麻生幹事長に漏らしていたが、麻生は「このタイミングで辞めるのはいかがなものか」と慰留していた。9月11日には妻の昭恵に対し「もうこれ以上、続けられないかもしれない」[24]と漏らしている。しかし、辞任する具体的な日程までは、昭恵には一切明かさなかった[24]。
2007年9月12日午後2時（JST）、「内閣総理大臣及び自由民主党総裁を辞する」と退陣を表明する記者会見を行った。これにより同日予定されていた衆議院本会議の代表質問は中止となった。
辞任の理由として本人は緊急記者会見で「テロ特措法の再延長について議論するため民主党の小沢代表との党首会談を打診したが、事実上断られ、このまま自身が首相を続けるより新たな首相のもとで進めた方が良い局面になると判断した」「私が総理であることが障害になっている」などとした（しかし小沢代表は記者会見を開き「打診を受けたことは1回もない」と否定。なお、小沢代表は党首会談について報じられてからも「意見を変える気はない」ときっぱりと明言しており、これに対し「事実上断られた」と判断した可能性が考えられる）。一方で、自身の健康に不安があるという理由も与謝野馨内閣官房長官が同日中会見で述べている。24日の記者会見で、本人も健康問題も辞任の理由の一つであることを認めた。
もともと胃腸に持病を抱えているといわれており[25]、辞意表明当日の読売新聞・特別号外でもそのことについて触れられていた。また、辞意表明前日には記者団から体調不良について聞かれ、風邪をひいた旨を返答しており[26]、この時点で疲労による体調不良が顕著になっていたとも言える。
なお、辞任に追い込まれた実質的原因については健康問題ではないとする見方もある。立花隆は「メディア ソシオ-ポリティクス」（nikkeiBPnet）において、発売予定の『週刊現代』が、父安倍晋太郎から「資産を自らの政治団体に寄付する形にすることで、首相は相続税をまぬがれていたという「脱税」疑惑」についての「真偽確認と、その理由釈明の問い合わせの書筒」が送られ、安倍事務所がこれに応え切れないと判断したらしいと指摘している[27][28]。
臨時国会が開幕し内政・外交共に重要課題が山積している中で、かつ所信表明演説を行って僅か2日後での退陣表明は、各界各方面から批判を浴びた。
野党側は安倍の辞意表明について「無責任の極み」であるとして次のような批判をおこなった[29]。
「参院選の後に辞めていればよかった。こういう形の辞任は国民に失礼」（民主党・鳩山由紀夫幹事長）
「所信表明直後の辞任は前代未聞」（共産党・志位和夫委員長）
「『ぼくちゃんの投げ出し内閣』だ。小沢代表との会談が断られただけで辞任するのは子供っぽい理由」（社民党・福島瑞穂党首）
与党側でも古賀誠元自民党幹事長などから退陣に至る経緯・理由が不透明であるとする批判が出た。また、麻生太郎自民党幹事長は同日の会見において、記者からの「総理はいつ辞任を決断していたのか」との問いに対し、「2日くらい前といえばそうだし、昨日と言えばそうだし…」などと述べ、安倍が近く辞めることを2日前（安倍晋三が臨時国会でテロ特措法の延長ができなければ内閣総辞職すると述べた日と同日）にはすでに知っていたことを明らかにした。
また、9月13日に朝日新聞社が行なった緊急世論調査では、70%の国民が「所信表明すぐ後の辞任は無責任」と回答している[30]。
日本国外のメディアもトップニュースで「日本の安倍首相がサプライズ辞職」、「プレッシャーに耐えきれなかった」（アメリカCNN）などと報じた。欧米諸国の報道では批判的な意見も多かったが[31]、安倍内閣の下で関係が良好だった中国、韓国、台湾のマスコミは同情的な意見が目立った[要出典]。
退陣表明の明くる13日、慶應義塾大学病院に入院し、検査の結果、胃腸機能異常の所見が見られ、かなりの衰弱状態にあると医師団が発表した。