しかし2009年に入ると英経済が17年振りの景気後退に入り、ポンド安・金融危機が一層深刻化し、経済運営への信頼も揺らいだ。春には、労働党議員の不明朗な経費請求問題への対応が後手に回り強い批判を浴びるとともに、元グルカ兵の永住権問題で野党動議の可決を許すなど窮地は深まるばかりで、労働党の支持率は史上最低の22%に低下した（保守党は45%）[7]。6月に入ると主要閣僚がスキャンダルで相次いで辞任し、党内で党首交代を求める電子メールが出回るなど「ブラウン降ろし」の動きが公然化した[8]。結局、統一地方選で労働党は250議席以上減らし大敗。ダービーシャーなど北部4州の議席を全て保守党に奪われる事態となった。ブラウンは「労働党にとって悲痛な敗北だ」とコメントしたが、内閣改造を行い続投を表明した[9]。しかし、閣僚からも公然と退陣要求が出た[10]。

2009年9月、イギリス政府が半世紀以上に渡って個人を対象としたネガティブ・キャンペーンを継続してきたことに関して、アラン・チューリングへ謝罪した[11]。

2010年に入ると巻き返し、保守党との支持率差を縮めたが、依然として大きくリードを許したまま5月6日に総選挙を実施。ブラウンは経済政策の成果を強調し選挙に臨んだが、議席を100近く減らして過半数を大きく割り込み大敗した。選挙後に自民党と連立を模索したが、政権維持は困難な状況となった。詳細は「2010年イギリス総選挙」を参照

労働党内からも辞任を求める声が強まり、5月10日、ブラウンは秋の党大会で次の党首が選ばれるまで党首としてとどまり、その後辞任すると述べた[12]が風当たりは収まらず、翌5月11日に辞任を表明した[13]。その後については要職につくことはないバックベンチャー（英語版）として議会後方席に残る意思を示した。
首相退任後

上述のように、首相退任後は目立った政治活動は行っていなかったが、2014年9月のスコットランド独立住民投票の際には、投票日が近くなってから独立反対派の集会で何度も演説を行い、「大枠で現状維持しつつ、スコットランド議会の権限拡大は進める」という方向性を明確に打ち出し、賛否を決めかねていた有権者を説得、事前の予想以上に独立賛成派に傾いていた流れを戻し、反対派の勝利に貢献した[14][15]。

その後、辞任したスコットランド労働党トップの後継選挙に出馬するのではとの観測もあったが、ブラウンはこれを否定。その時点で政界引退の意向ではないかと噂されていたが、12月1日にファイフの選挙区で行われた労働党の集会で[16]、2015年5月に予定される総選挙に出馬しないことを表明し、政界引退の意向を示した[17]。慣例として、首相経験者は一代貴族に叙せられ、庶民院からの引退後は貴族院に議席を得ることになっているが、ブラウンはこれも辞退した[18]。

首相を退いたあと、ブラウンは慈善活動に打ち込んでおり、2012年7月には国連の教育担当特使に任命されている[19]。
スキャンダル

2010年4月28日、路上で移民問題について労働党を支持する年金生活者の女性と対談し、その後会話を終えて立ち去る際、ブラウンが胸に付けていたピンマイクのスイッチが入ったままである事に気付かず、直後に隠れて吐いた「話さなければ良かった」「偏屈だらけの女」などの暴言がマイクに拾われる事態となった[20]。この一件はマスコミに大きくスクープされ、直後の党首討論にも大きな影響を与えることとなった[21]。ブラウンはラジオ、電話などを通じて謝罪した後、女性の自宅を訪問し直接謝罪をしている。2010年2月21日、BBC WORLD NEWSによると、ブラウンの部下から英国、National Bullying Helplineに首相が部下に暴行を加えているといると相談があり、問題が明らかになった[22]。
私生活妻のサラ・ブラウン

独身生活が長く、財務相になってからも独身であった。イギリスの財務相公邸が首相公邸より広かったため、当時5人家族だったブレア一家と公邸を交換して住んだ逸話もある。