明治9年（1876年）3月に廃刀令が出、8月に金禄公債証書条例が制定されると、士族とその子弟で構成される私学校党の多くは、徴兵令で代々の武人であることを奪われたことに続き、帯刀と知行地という士族最後の特権をも奪われたことに憤慨した。10月24日の熊本県士族の神風連の乱、27日の福岡県士族の秋月の乱、28日の萩の乱もこれらの特権の剥奪に怒っておきたものであった。11月、西郷は日当山温泉でこれら決起の報を聞き、
前原一誠らの行動を愉快なものとして受け止めている。
今帰ったら若者たちが逸るかもしれないので、まだこの温泉に止まっている。
今まで一切自分がどう行動するかを見せなかったが、起つと決したら、天下の人々を驚かすようなことをするつもりである。
などを記した書簡を桂久武に出し、「起つと決する」時期を待っていることを知らせた。この「起つと決する」が国内での決起を意味するのか、西郷がこの時期に一番気にかけていた対ロシア問題での決起を意味していたのかは判然としない。
一方、政府は、鹿児島県士族の反乱がおきるのではと警戒し、年末から1月にかけて、
鹿児島県下の火薬庫（弾薬庫ともいう）から火薬・弾薬を順次船で運びださせる。
大警視川路利良らが24名の巡査を、県下の情報探索・私学校の瓦解工作・西郷と私学校を離間させるなどの目的で、帰郷の名目のもと鹿児島に派遣する。
などの処置をした。
これに対し、私学党は、すでに陸海軍省設置の際に武器や火薬・弾薬の所管が陸海軍に移っていて、陸海軍がそれを運び出す権利を持っていたにもかかわらず、本来、これらは旧藩士の醵出金で購入したり、つくったりしたものであるから、鹿児島県士族がいざというときに使用するものであるという意識を強く持っていた[13]。 また、多数の巡査が一斉に帰郷していることは不審であり、その目的を知る必要があると考えていた。なお、まだこの時点では、川路利良が中原尚雄に、瓦解・離間ができないときは西郷を「シサツ」せよ、と命じていたことは知られていなかった（山縣有朋は私学校党が「視察」を「刺殺」と誤解したのだと言っている。明治5年の池上らの満洲の偵察を公文書で「満洲視察」と表現していることから見ると、この当時の官僚用語としての「視察」には「偵察」の意もあった）。
西南戦争も参照
明治10年（1877年）1月20日頃、西郷は、この時期に私学校生徒が火薬庫を襲うなどとは夢にも思わず、大隅半島の小根占で狩猟をしていた。一方、政府は鹿児島県士族の反乱を間近しと見て、1月28日に山縣有朋が熊本鎮台に電報で警戒命令を出した。29日、従来は危険なために公示したうえで標識を付けて白昼運び出していたのに、陸軍の草牟田火薬庫の火薬・弾薬が夜中に公示も標識もなしに運び出され、赤龍丸に移された。これに触発されて私学校生徒が、同火薬庫を襲った。ル・モンド(Illustre)の速報記事に描かれたその姿[14]（1877年）
2月1日、小根占にいた西郷のもとに四弟小兵衞が私学校幹部らの使者として来て、谷口登太が中原尚雄から西郷刺殺のために帰県したと聞き込んだこと、私学校生徒による火薬庫襲撃がおきたことなどを話した。これを聞いて西郷が鹿児島へ帰ると、身辺警護に駆けつける人数が時とともに増え続けた。3日に中原が捕らえられ、4日に拷問によって自供すると[15]、6日に私学校本校で大評議が開かれ、政府問罪のために大軍を率いて上京することに決したので、翌7日に県令大山綱良に上京の決意を告げた。このようにして騒然となっていた9日、川村純義が高雄丸で西郷に面会に来たので、会おうとしたが、会えなかった。同日、巡査たちとは別に、大久保が派遣した野村綱が県庁に自首した[16]。 西郷は、その自白内容から、大久保も刺殺に同意していると考えるようになったらしい。
募兵、新兵教練が終わった13日、大隊編制が行われ、一番大隊指揮長に篠原国幹、二番大隊指揮長に村田新八、三番大隊指揮長に永山弥一郎、四番大隊指揮長に桐野利秋、五番大隊指揮長に池上四郎が選任され、桐野が総司令を兼ねることになった。淵辺群平は本営附護衛隊長となり、狙撃隊を率いて西郷を護衛することになった。別府は加治木で別に2大隊を組織してその指揮長になった[17]。 翌14日、私学校本校横の練兵場[18]で西郷による正規大隊の閲兵式が行われた。15日、薩軍の一番大隊が鹿児島から先発し（西南戦争開始）、17日、西郷も鹿児島を出発し、加治木・人吉を経て熊本へ向かった。
2月20日、別府晋介の大隊が川尻に到着。熊本鎮台偵察隊と衝突し、これを追って熊本へ進出した。21日、相次いで到着した薩軍の大隊は順次、熊本鎮台を包囲して戦った。22日、早朝から熊本城を総攻撃した。昼過ぎ、西郷が世継宮に到着した。政府軍一部の植木進出を聞き、午後3時に村田三介・伊東直二の小隊が植木に派遣され、夕刻、伊東隊の岩切正九郎が乃木希典率いる第14連隊の軍旗を分捕った。一方、総攻撃した熊本城は堅城で、この日の状況から簡単には陥ちないと見なされた。夜、本荘に本営を移し、ここでの軍議でもめているうちに、政府軍の正規旅団は本格的に南下し始めた。この軍議では一旦は篠原らの全軍攻城策に決したが、のちの再軍議で熊本城を長囲し、一部は小倉を電撃すべしと決し、翌23日に池上四郎が数箇小隊を率いて出発したが、南下してきた政府軍と田原・高瀬・植木などで衝突し、電撃作戦は失敗した。
これより、南下政府軍、また上陸してくると予想される政府軍、熊本鎮台に対処するために、熊本城攻囲を池上にまかせ、永山弥一郎に海岸線を抑えさせ、篠原国幹（六箇小隊）は田原に、村田・別府（五箇小隊）は木留に、桐野（三箇小隊）は山鹿に分かれ、政府軍を挟撃して高瀬を占領することにした。しかし、いずれも勝敗があり、戦線が膠着した。
3月1日から始まった田原をめぐる戦い（田原坂・吉次など）は、この戦争の分水嶺になった激戦で、篠原国幹ら勇猛の士が次々と戦死した。このような犠牲を払ってまで守っていた田原坂であったが、20日に、兵の交替の隙を衝かれ、政府軍に奪われた。この戦いに敗れた原因は多々あるが、主なものでは、砲・小銃が旧式で、しかも不足、火薬・弾丸・砲弾の圧倒的な不足、食料などの輜重の不足があげられる。これらは西南戦争を通じて薩軍が持っていた弱点でもある。こうして田原方面から引き上げ、その後部線を保守している間に、上陸した政府背面軍に敗れた永山が御船で自焚・自刃し、4月8日には池上が安政橋口の戦いで敗れて、政府背面軍と鎮台の連絡を許すと、薩軍は腹背に敵を受ける形になった。そこで、この窮地を脱するために、14日、熊本城の包囲を解いて木山に退却した。この間、本営は本荘から3月16日に二本木、4月13日に木山、4月21日に矢部浜町と移され、西郷もほぼそれとともに移動したが、戦闘を直接に指揮しているわけでもないので、薩摩・大隅・日向の三州に蜷踞することを決めた4月15日の軍議に出席していたこと以外、目立った動向の記録はない。
薩軍は浜町で大隊を中隊に編制し直し、隊名を一新したのち、椎葉越えして、新たな根拠地と定めた人吉へ移動した。4月27日、一日遅れで桐野利秋が江代に着くと、翌28日に軍議が開かれ、各隊の部署を定め、日を追って順次、各地に配備した。これ以来、人吉に本営を設け、ここを中心に政府軍と対峙していたが、衆寡敵せず、徐々に政府軍に押され、人吉も危なくなった。そこで本営を宮崎に移すことにした。西郷は池上四郎に護衛され、5月31日、桐野利秋が新たな根拠地としていた軍務所（もと宮崎支庁舎）に着いた。ここが新たな本営となった。この軍務所では、桐野の指示で、薩軍の財政を立て直すための大量の軍票（西郷札）がつくられた。
人吉に残った村田新八は、6月17日、小林に拠り、振武隊、破竹隊、行進隊、佐土原隊の約1000名を指揮し、1ヶ月近く政府軍と川内川を挟んで小戦を繰り返した。7月10日、政府軍が加久藤・飯野に全面攻撃を加えてきたので、支えようとしたが支えきれず、高原麓・野尻方面へ退却した。小林も11日に政府軍の手に落ちた。17日と21の両日、掘与八郎が延岡方面にいた薩兵約1000名を率いて高原麓を奪い返すために政府軍と激戦をしたが、これも勝てず、庄内、谷頭へ退却した。
