第21回参議院議員通常選挙への与野党の戦いが始まって早々、自殺した松岡の後任である赤城農水大臣もいくつかの事務所費問題が発覚。安倍はこういった閣僚の諸問題への対応が遅いと非難された。選挙中に発生した新潟県中越沖地震では発生当日に遊説を打ち切り現地入りした。2007年の参議院選挙では「年金問題」の早期解決を約束し、「野党に改革はできない、責任政党である自民党にこそ改革の実行力がある」とこれまでの実績を訴えた。選挙前、安倍は「そんなに負けるはずがない」[14]と楽観視していたが、結果は連立を組む公明党との議席を合わせても過半数を大きく下回る歴史的大敗を喫した。
選挙結果の大勢が判明した時点で総理続投を表明。これについては、応援演説において「私か小沢さんか、どちらが首相にふさわしいか」と有権者に「政権選択」を迫るような趣旨の発言をしていたことから内外から続投に対する厳しい批判が出た。また、同年7月31日の自民党総務会においても、「決断されたほうがいい」などと党内からも退陣を促す声が出た（安倍おろし）[15]。赤城農相を8月1日に更迭したが、「遅すぎる」と批判された。この頃から安倍は食欲の衰えなど体調不良を訴え始め、8月19日から8月25日のインドネシア、インド、マレーシア3ヶ国訪問後は下痢が止まらなくなり、症状は次第に悪化し始めた[14]。
安倍改造内閣2007年9月8日、アジア太平洋経済協力首脳会議にて、アメリカ合衆国大統領ジョージ・W・ブッシュと握手を交わす安倍晋三
選挙結果や批判を受け、8月27日に内閣改造、党役員人事に着手した（安倍改造内閣）。ところが組閣直後から再び閣僚の不祥事が続き、求心力を失う。9月9日、オーストラリア・シドニーで開催されたAPEC（アジア太平洋経済協力会議）首脳会議の終了にあたって開かれた記者会見において、テロ特措法の延長問題に関し9月10日からの臨時国会で自衛隊へ給油が継続が出来なくなった場合は、内閣総辞職することを公約した。この間も安倍の健康状態は好転せず、体調不良によりAPECの諸行事に出席できない状況となり、晩餐会前の演奏会を欠席した[16]。
2007年9月10日に第168回臨時国会が開催され、安倍首相は所信表明演説を行った。その中で安倍首相は「職責を全うする」などという趣旨の決意を表明した。なお、この表明では自身の内閣を「政策実行内閣」と名づけ、「美しい国」という言葉は結びに一度使ったのみであった。午後には「（改正案を通すのは）厳しいでしょうか」と辞任を示唆する発言を麻生幹事長に漏らしていたが、麻生は「このタイミングで辞めるのはいかがなものか」と慰留していた。9月11日には妻の昭恵に対し「もうこれ以上、続けられないかもしれない」[17]と漏らしている。しかし、辞任する具体的な日程までは、昭恵には一切明かさなかった[17]。
2007年9月12日午後2時（JST）、「内閣総理大臣及び自由民主党総裁を辞する」と退陣を表明する記者会見を行った。これにより同日予定されていた衆議院本会議の代表質問は中止となった。
辞任の理由として本人は緊急記者会見で「テロ特措法の再延長について議論するため民主党の小沢代表との党首会談を打診したが、事実上断られ、このまま自身が首相を続けるより新たな首相のもとで進めた方が良い局面になると判断した」「私が総理であることが障害になっている」などとした（しかし小沢代表は記者会見を開き「打診を受けたことは1回もない」と否定。なお、小沢代表は党首会談について報じられてからも「意見を変える気はない」ときっぱりと明言しており、これに対し「事実上断られた」と判断した可能性が考えられる）。一方で、自身の健康に不安があるという理由も与謝野馨内閣官房長官が同日中会見で述べている。24日の記者会見で、本人も健康問題も辞任の理由の一つであることを認めた。
もともと胃腸に持病を抱えているといわれており[18]、辞意表明当日の読売新聞・特別号外でもそのことについて触れられていた。また、辞意表明前日には記者団から体調不良について聞かれ、風邪をひいた旨を返答しており[19]、この時点で疲労による体調不良が顕著になっていたとも言える。
なお、辞任に追い込まれた実質的原因については健康問題ではないとする見方もある。立花隆は「メディア ソシオ-ポリティクス」（nikkeiBPnet）において、発売予定の『週刊現代』が、父安倍晋太郎から「資産を自らの政治団体に寄付する形にすることで、首相は相続税をまぬがれていたという「脱税」疑惑」についての「真偽確認と、その理由釈明の問い合わせの書筒」が送られ、安倍事務所がこれに応え切れないと判断したらしいと指摘している[20][21]。
臨時国会が開幕し内政・外交共に重要課題が山積している中で、かつ所信表明演説を行って僅か2日後での退陣表明は、各界各方面から批判を浴びた。
野党側は安倍の辞意表明について「無責任の極み」であるとして次のような批判をおこなった[22]。
