下野した西郷は、明治6年11月10日、鹿児島に帰着し、以来、大半を武村の自宅で過ごした。猟に行き、山川の鰻温泉で休養していた明治7年（1874年）3月1日、佐賀の乱で敗れた江藤新平が来訪し、翌日、指宿まで見送った（江藤は土佐で捕まった）。これ以前の2月に閣議で台湾征討が決定した。この征討には木戸が反対して参議を辞めたが、西郷も反対していた。しかし、4月、台湾征討軍の都督三弟西郷従道の要請を入れ、やむなく鹿児島から徴募して、兵約800名を長崎に送った。
西郷の下野に同調した軍人・警吏が相次いで帰県した明治6年末以来、鹿児島県下は無職の血気多き壮年者がのさばり、それに影響された若者に溢れる状態になった[11]。 そこで、これを指導し、統御しなければ、壮年・若者の方向を誤るとの考えから、有志者が西郷にはかり、県令大山綱良の協力を得て、明治7年6月頃に旧厩跡に私学校がつくられた[12]。 私学校は篠原国幹が監督する銃隊学校、村田新八が監督する砲隊学校、村田が監督を兼任した幼年学校（章典学校）があり、県下の各郷ごとに分校が設けられた。この他に、明治8年（1875年）4月には西郷と大山県令との交渉で確保した荒蕪地に、桐野利秋が指導し、永山休二・平野正介らが監督する吉野開墾社（旧陸軍教導団生徒を収容）もつくられた。
明治8年から明治9年（1876年）にかけての西郷は自宅でくつろぐか、遊猟と温泉休養に行っていることが多い。西郷の影響下にある私学校が整備されて、私学校党が県下最大の勢力となると、県令大山綱良もこの力を借りることなしには県政が潤滑に運営できなくなり、私学校党人士を県官や警吏に積極的に採用し、明治8年11月、明治9年4月には西郷に依頼して区長や副区長を推薦して貰った。このようにして別府・辺見・河野・小倉壮九郎（東郷平八郎の兄）らが区長になり、私学校党が県政を牛耳るようになると、政府は以前にもまして、鹿児島県は私学校党の支配下に半ば独立状態にあると見なすようになった。
明治9年（1876年）3月に廃刀令が出、8月に金禄公債証書条例が制定されると、士族とその子弟で構成される私学校党の多くは、徴兵令で代々の武人であることを奪われたことに続き、帯刀と知行地という士族最後の特権をも奪われたことに憤慨した。10月24日の熊本県士族の神風連の乱、27日の福岡県士族の秋月の乱、28日の萩の乱もこれらの特権の剥奪に怒っておきたものであった。11月、西郷は日当山温泉でこれら決起の報を聞き、
前原一誠らの行動を愉快なものとして受け止めている。
今帰ったら若者たちが逸るかもしれないので、まだこの温泉に止まっている。
今まで一切自分がどう行動するかを見せなかったが、起つと決したら、天下の人々を驚かすようなことをするつもりである。
などを記した書簡を桂久武に出し、「起つと決する」時期を待っていることを知らせた。この「起つと決する」が国内での決起を意味するのか、西郷がこの時期に一番気にかけていた対ロシア問題での決起を意味していたのかは判然としない。
一方、政府は、鹿児島県士族の反乱がおきるのではと警戒し、年末から1月にかけて、
鹿児島県下の火薬庫（弾薬庫ともいう）から火薬・弾薬を順次船で運びださせる。
大警視川路利良らが24名の巡査を、県下の情報探索・私学校の瓦解工作・西郷と私学校を離間させるなどの目的で、帰郷の名目のもと鹿児島に派遣する。
などの処置をした。
これに対し、私学党は、すでに陸海軍省設置の際に武器や火薬・弾薬の所管が陸海軍に移っていて、陸海軍がそれを運び出す権利を持っていたにもかかわらず、本来、これらは旧藩士の醵出金で購入したり、つくったりしたものであるから、鹿児島県士族がいざというときに使用するものであるという意識を強く持っていた[13]。 また、多数の巡査が一斉に帰郷していることは不審であり、その目的を知る必要があると考えていた。なお、まだこの時点では、川路利良が中原尚雄に、瓦解・離間ができないときは西郷を「シサツ」せよ、と命じていたことは知られていなかった（山縣有朋は私学校党が「視察」を「刺殺」と誤解したのだと言っている。明治5年の池上らの満洲の偵察を公文書で「満洲視察」と表現していることから見ると、この当時の官僚用語としての「視察」には「偵察」の意もあった）。
西南戦争も参照
明治10年（1877年）1月20日頃、西郷は、この時期に私学校生徒が火薬庫を襲うなどとは夢にも思わず、大隅半島の小根占で狩猟をしていた。一方、政府は鹿児島県士族の反乱を間近しと見て、1月28日に山縣有朋が熊本鎮台に電報で警戒命令を出した。29日、従来は危険なために公示したうえで標識を付けて白昼運び出していたのに、陸軍の草牟田火薬庫の火薬・弾薬が夜中に公示も標識もなしに運び出され、赤龍丸に移された。これに触発されて私学校生徒が、同火薬庫を襲った。ル・モンド(Illustr?)の速報記事に描かれたその姿[14]（1877年）
2月1日、小根占にいた西郷のもとに四弟小兵衞が私学校幹部らの使者として来て、谷口登太が中原尚雄から西郷刺殺のために帰県したと聞き込んだこと、私学校生徒による火薬庫襲撃がおきたことなどを話した。これを聞いて西郷が鹿児島へ帰ると、身辺警護に駆けつける人数が時とともに増え続けた。3日に中原が捕らえられ、4日に拷問によって自供すると[15]、6日に私学校本校で大評議が開かれ、政府問罪のために大軍を率いて上京することに決したので、翌7日に県令大山綱良に上京の決意を告げた。このようにして騒然となっていた9日、川村純義が高雄丸で西郷に面会に来たので、会おうとしたが、会えなかった。同日、巡査たちとは別に、大久保が派遣した野村綱が県庁に自首した[16]。 西郷は、その自白内容から、大久保も刺殺に同意していると考えるようになったらしい。
募兵、新兵教練が終わった13日、大隊編制が行われ、一番大隊指揮長に篠原国幹、二番大隊指揮長に村田新八、三番大隊指揮長に永山弥一郎、四番大隊指揮長に桐野利秋、五番大隊指揮長に池上四郎が選任され、桐野が総司令を兼ねることになった。淵辺群平は本営附護衛隊長となり、狙撃隊を率いて西郷を護衛することになった。別府は加治木で別に2大隊を組織してその指揮長になった[17]。 翌14日、私学校本校横の練兵場[18]で西郷による正規大隊の閲兵式が行われた。15日、薩軍の一番大隊が鹿児島から先発し（西南戦争開始）、17日、西郷も鹿児島を出発し、加治木・人吉を経て熊本へ向かった。
2月20日、別府晋介の大隊が川尻に到着。熊本鎮台偵察隊と衝突し、これを追って熊本へ進出した。21日、相次いで到着した薩軍の大隊は順次、熊本鎮台を包囲して戦った。22日、早朝から熊本城を総攻撃した。昼過ぎ、西郷が世継宮に到着した。政府軍一部の植木進出を聞き、午後3時に村田三介・伊東直二の小隊が植木に派遣され、夕刻、伊東隊の岩切正九郎が乃木希典率いる第14連隊の軍旗を分捕った。一方、総攻撃した熊本城は堅城で、この日の状況から簡単には陥ちないと見なされた。夜、本荘に本営を移し、ここでの軍議でもめているうちに、政府軍の正規旅団は本格的に南下し始めた。この軍議では一旦は篠原らの全軍攻城策に決したが、のちの再軍議で熊本城を長囲し、一部は小倉を電撃すべしと決し、翌23日に池上四郎が数箇小隊を率いて出発したが、南下してきた政府軍と田原・高瀬・植木などで衝突し、電撃作戦は失敗した。
これより、南下政府軍、また上陸してくると予想される政府軍、熊本鎮台に対処するために、熊本城攻囲を池上にまかせ、永山弥一郎に海岸線を抑えさせ、篠原国幹（六箇小隊）は田原に、村田・別府（五箇小隊）は木留に、桐野（三箇小隊）は山鹿に分かれ、政府軍を挟撃して高瀬を占領することにした。しかし、いずれも勝敗があり、戦線が膠着した。
