安政4年（1857年）4月、参勤交代の帰途に肥後熊本藩の長岡監物・津田山三郎と会い、国事を話し合った。5月、帰藩。次弟・吉二郎が御勘定所書役、三弟・信吾が表茶坊主に任ぜられた。10月、徒目付・鳥預の兼務を命ぜられた[注釈 5]。11月、藍玉の高値に困っていた下関の白石正一郎に薩摩の藍玉購入の斡旋をし、以後、白石宅は薩摩人の活動拠点の一つになった[要出典]。12月、江戸に着き、将軍継嗣に関する斉彬の密書を越前藩主・松平慶永（春嶽）に持って行き、この月内、橋本左内らと一橋慶喜擁立について協議を重ねた。翌安政5年（1858年）1-2月、橋本左内、梅田雲浜らと書簡を交わし、中根雪江が来訪するなど情報交換し、3月には篤姫から近衛忠煕への書簡[要出典]を携えて京都に赴き、僧・月照らの協力で慶喜継嗣のための内勅降下をはかったが失敗した。

5月、彦根藩主・井伊直弼が大老となった。直弼は、6月に日米修好通商条約に調印し、次いで紀州藩主・徳川慶福（家茂）を将軍継嗣に決定した。7月には不時登城を理由に徳川斉昭に謹慎、松平慶永に謹慎・隠居、徳川慶喜に登城禁止を命じ、まず一橋派への弾圧から強権を振るい始めた（広義の安政の大獄開始[要出典]）。この間、西郷は6月に鹿児島へ帰り、松平慶永からの江戸・京都情勢を記した書簡を斉彬にもたらし、すぐに上京し、梁川星巌・春日潜庵らと情報交換した。7月8日、斉彬は鹿児島城下天保山で薩軍の大軍事調練[注釈 6]を実施したが、7月16日、急逝した。7月19日、斉彬の弟の茂久が家督相続し、父の島津久光が後見人となったが、藩の実権は斉彬の父・斉興が握った。
大島潜居前後

安政5年7月27日（1858年9月4日）、京都で斉彬の訃報を聞き、殉死しようとしたが、月照らに説得されて斉彬の遺志を継ぐことを決意した。8月、近衛家から託された孝明天皇の内勅を水戸藩・尾張藩に渡すため江戸に赴いたが、できずに京都へ帰った[要出典]。以後9月中旬頃まで諸藩の有志および有馬新七、有村俊斎、伊地知正治らと大老・井伊直弼を排斥し、それによって幕政の改革をしようと謀った。しかし、9月9日に梅田雲浜が捕縛され、尊攘派に危機が迫ったので、近衛家から保護を依頼された月照を伴って伏見へ脱出し、伏見からは有村俊斎らに月照を託し、大坂を経て鹿児島へ送らせた。

9月16日、再び上京して諸志士らと挙兵を図ったが、捕吏の追及が厳しいため、9月24日に大坂を出航し、下関経由で10月6日に鹿児島へ帰った。捕吏の目を誤魔化すために藩命で西郷三助と改名させられた。11月、平野国臣に伴われて月照が鹿児島に着くが、幕府の追及を恐れた藩当局は月照らを東目（日向国）へ追放するという名目で道中での斬り捨てを企図した。月照・平野、付き添いの足軽阪口周右衛門らとともに乗船したが、前途を悲観して、16日夜半、竜ヶ水沖で月照とともに入水した。すぐに平野らが救助したが、月照は死亡し、西郷は運良く蘇生し同志の税所喜三左衛門がその看病にあたったが、回復に一ヶ月近くかかった。藩当局は死んだものとして扱い、幕府の捕吏に西郷と月照の墓を見せたので、捕吏は月照の下僕・重助を連れて引き上げた。

12月、藩当局は、幕府の目から隠すために西郷の職を免じ、奄美大島に潜居させることにした。12月末日、菊池源吾[注釈 7]と変名して安政6年1月4日（1859年2月6日）、伊地知正治、大久保利通、堀仲左衛門（次郎）等に後事を託して山川港を出航し、七島灘を乗り切り、名瀬を経て、1月12日に潜居地の奄美大島龍郷村阿丹崎に着いた。当時、龍郷には屋入銅山があり、当地の有力者で薩摩藩から士族の身分を与えられた田畑氏（龍氏）が銅山を管理し、採掘した銅を船で鹿児島へ送る目付け役として薩摩藩士が二年交代で赴任・駐在していたが、隆盛がその役職に抜擢されて、奄美大島に派遣された。島では美玉新行の空家を借り、自炊した。間もなく重野安繹の慰問を受け、以後、大久保利通、税所篤、吉井友実、有村俊斎、堀仲左衛門らの書簡や慰問品が何度も届き、西郷も返書を出して情報入手に努めた。この間11月、龍家[注釈 8]の一族、佐栄志の娘・とま（愛加那）を紹介されて島妻とした。当初、扶持米は6石であったが、万延元年には12石に加増された。また留守家族にも家計補助のために藩主から下賜金が与えられた[要出典]。来島当初は流人としての扱いを受け、孤独に苦しんだ。しかし、島の子供3人の教育を依頼され、間切横目・藤長から親切を受け、島妻を娶るにつれ、徐々に島での生活に馴染み、万延2年1月2日（1861年2月11日）には菊次郎が誕生した。文久元年（1861年）9月、三弟の竜庵が表茶坊主から還俗して信吾と名乗った。11月、見聞役・木場伝内（木場清生[注釈 9]）と知り合った。
寺田屋騒動前後「寺田屋事件」も参照

文久元年（1861年）10月、久光は公武周旋に乗り出す決意をして要路重臣の更迭を行ったが、京都での手づるがなく、小納戸役の大久保、堀次郎らの進言で西郷に召還状を出した。西郷は11月21日にこれを受け取ると、世話になった人々への挨拶を済ませ、愛加那の生活が立つようにしたのち、文久2年1月14日（1862年2月12日）に阿丹崎を出帆し、口永良部島・枕崎を経て2月12日に鹿児島へ着いた。2月15日、生きていることが幕府に発覚しないように西郷三助から大島三右衛門[注釈 10]と改名した。同日、久光に召されたが、久光が無官で、斉彬ほどの人望が無いことを理由に上京すべきでないと主張し、また、「御前ニハ恐レナガラ地ゴロ[注釈 11]」なので周旋は無理だと言ったので、久光の不興を買った。一旦は同行を断ったが、大久保の説得で上京を承諾し、旧役に復した。3月13日、下関で待機する命を受けて、村田新八を伴って先発した。

下関の白石正一郎宅で平野国臣から京大坂の緊迫した情勢を聞いた西郷は、3月22日、村田新八と森山新蔵を伴い大坂へ向けて出航し、29日に伏見に着き、激派志士たちの京都焼き討ちと挙兵の企てを止めようと試みた。4月6日に姫路に着いた久光は、西郷が待機命令を破ったこと、堀次郎や海江田信義から受けた西郷の志士煽動の報告に激怒する。西郷以下3名を捕縛させ、10日、鹿児島へ向けて船で護送させせた。

一方、浪士鎮撫の朝旨を受けた久光は、伏見の寺田屋に集結した真木保臣（和泉）、有馬新七らの激派志士を鎮撫するため、4月23日に奈良原繁と大山格之助（大山綱良）ほかを寺田屋に派遣した。奈良原らは激派を説得したが聞かれず、やむなく有馬新七ら8名を上意討ちにした（寺田屋騒動）。この時に挙兵を企て、寺田屋その他に分宿していた激派の中には、三弟の信吾、従弟の大山巌（弥助）の外に篠原国幹・永山弥一郎なども含まれていた。護送され山川港で待命中の6月6日、西郷は大島吉之助に改名させられ、徳之島へ遠島、村田新八は喜界島[注釈 12]へ遠島が命ぜられた。未処分の森山新蔵は船中で自刃した。
徳之島・沖永良部島遠流「文久の幕政改革」および「八月十八日の政変」も参照愛加那の肖像写真

文久2年6月11日（1862年7月7日）、西郷は山川を出帆し、向かい風で風待ちのために屋久島一湊で遅れて出帆した村田が追いつき、7、8日程風待ちをし、ともに一湊を出航、奄美へ向かった。七島灘で漂流し奄美を経て[注釈 13]、やっと7月2日に西郷は徳之島湾仁屋に到着した。偶然にも、この渡海中の7月2日に愛加那が菊草（菊子）を生んだ。徳之島では、間切総横目・琉仲為[注釈 14]の奨めで岡前の松田勝伝宅に身を寄せていた。8月26日、徳之島来島を知らされた愛加那が大島から子供2人を連れて岡前に上陸。西郷のもとを訪れ、久しぶりの親子対面を喜んだのもつかの間、翌27日にはさらに追い打ちをかけるように沖永良部島へ遠島する命令が届き、徳之島井之川へと移送される。

江戸へ上っていた島津久光は、家老たちが徳之島へ在留という軽い処罰に留めている事を知り、沖永良部への島替えのうえ、牢込めにし、決して開けてはならぬと厳命したという。なお、失意の愛加那たちは28日に奄美大島へと帰っている。

また、これより前の7月下旬、鹿児島では弟たちが遠慮・謹慎などの処分を受け、西郷家の知行と家財は没収され、最悪の状態に追い込まれていた[要出典]。

閏8月初め、徳之島井之川を出発し、西郷隆盛を乗せた宝徳丸が14日に沖永良部島伊延（旧：ゆぬび・現：いのべ）に着いた。

当初、牢が貧弱で風雨にさらされたので、健康を害した。この頃フィラリアに感染し象皮病により陰嚢が巨大化してしまい、生涯治ることはなかった。しかし、10月、間切横目・土持政照が代官の許可を得て、自費で座敷牢を作ってくれたので、そこに移り住み、やっと健康を取り戻した。