隆盛は菊池氏が出自であることを知っていたが、菊池氏のどの家から分かれたかわからないので、藩の記録所にある九郎兵衛以下のみを自分の系譜としている。九郎兵衛より前は西郷家の出自とされる増水西郷氏の系譜に繋いでつくった系譜である（香春建一説による）。家紋は抱き菊の葉に菊。
藤原鎌足─不比等─房前─（11代）─道隆─隆家─政則─菊池則隆（肥後熊本菊池郡）─西郷政隆―隆基―隆季―隆房―基宗―基哉―隆邑―基時―隆任―隆吉＝隆政―隆連―隆政―隆圀―武治―隆朝―太郎政隆（肥後熊本菊池郡増水城）―隆従―隆永―武国―政隆―隆盛―隆定―隆武―隆純―九郎兵衛昌隆（島津氏に仕える）＝吉兵衛宜慶─覚左衛門─吉左衛門─竜右衛門隆充─吉兵衛隆盛─吉之助隆永─寅太郎―隆輝＝吉之助（寅太郎三男）―吉太郎
西郷には三度の結婚経験がある。
1度目は嘉永5年（1852年）28歳のとき両親にすすめられて伊集院兼寛の姉すが（須賀）と結婚した。しかしながら藩主の代わりに江戸におもむくなど隆盛は不在が多く、彼女は実家に帰り別れた。
2度目は奄美大島の龍郷村で6石扶持一軒家で自炊していた際、島の名家であった龍家の佐栄志の娘・愛加那（あいがな、意味は愛子）と結婚。35歳の安政7年（1860年）1月2日 (旧暦)に菊次郎（後の京都市市長）・文久2年（1862年）にお菊（のち菊子、大山巌の弟と結婚）の二人の子供をもうけた。この子供たちは庶子として扱われた。文久元年（1861年）末に、鹿児島に帰る際、島妻は鹿児島へ連れ出せない規則があったので別れた。愛加那は明治35年死去。陶芸家の西郷隆文は、菊次郎の四男・隆泰の子。
3度目の妻は慶応元年（1865年）岩山八郎太の23歳の娘、糸子で、39歳のときに結婚。寅太郎 ⇒[1]（侯爵）・午次郎・酉三の3人の子供をもうけ、先の妻、愛加那の二人の子菊次郎、お菊を引き取った。第2次佐藤内閣第2次改造内閣の法務大臣西郷吉之助は寅太郎の子。ちなみに、寅太郎は武豊・武幸四郎の曾祖父の兄弟である園田実徳の娘・ノブと結婚しているため、彼らは遠縁に当たる。[23]
持病
肥満
高島鞆之助の言では西郷は大島潜居の頃から肥満になったとしているが、おそらく沖永良部島流罪当時は痩せこけて死にそうになっていたというから、沖永良部在島後半期に座敷牢にいて運動不足から肥満し始めたというのが真相と思われる。鹿児島は養豚の盛んな地であり、西郷は脂身のついた豚肉が大好物だったので、それが肥満に拍車をかけたと推測される。また、甘い物も好物であった。明治6年（1873年）の征韓論当時は肥満を治そうとしてドイツ人医師ホフマンの治療を受けていた。治療方法は2種用いられていた。一つは蓖麻子油（ひましゆ）を下剤として飲む方法であり、もう一つは運動をする方法であった。後者については『池上四郎家蔵雑記』（市来四郎『石室秘稿』所収、国立国会図書館蔵）中の池上四郎宛彭城中平書簡にこの治療期間中に西郷先生が肥満の治療のために狩猟に出かけて留守だと書いている。
フィラリア
西郷隆盛は、流刑先の沖永良部島で、風土病のバンクロフト糸状虫という寄生虫に感染したとされ、この感染の後遺症である象皮症を患っていた。これによって陰嚢が人の頭大に腫れ上がっていた。そのため晩年は馬に乗ることができず、もっぱら駕篭を利用していた。西南戦争後の、首の無い西郷の死体を本人のものと特定させたのは、この巨大な陰嚢である[24]。ただし、比較的近年に至るまでバンクロフト糸状虫によるフィラリア感染症は九州南部を中心に日本各地に見られ、疫学的には必ずしも感染地を沖永良部島には特定できない。明治44年（1911年）の段階の陸軍入隊者の感染検査で、鹿児島県九州本島部分出身者の感染率は4%を超えていたし、北は青森県まで感染者が確認されている[25]。
人物評
愛称
「西郷どん」とは「西郷殿」の鹿児島弁表現（現地での発音は「セゴドン」に近い）であり、目上の者に対する敬意だけでなく、親しみのニュアンスも込められている。また「うどさぁ」と言う表現もあるが、これは鹿児島弁で「偉大なる人」と言う意味である。
肥大
「先生の肥大は、始めからぢや無い。何でも大島で幽閉されて居られてからだとのことぢや。戦争に行つても、馬は乗りつぶすので、馬には乗られなかったぢや。長い旅行をすると、股摺（またず）れが出来る。少し長道をして帰られて、掾（えん）などに上るときは、パァ々々云つて這（は）つて上られる態が、今でも見える様ぢや。斯んなに肥つて居られるで、着物を着ても、身幅が合わんので、能く無恰好な奴を出すので大笑ぢやつた。」[26]
「うーとん」「うどめ」などの徒名の由来
「うどめ」とは「巨目」という意味である。西郷は肖像画にもあるように、目が大きく、しかも黒目がちであった。その眼光と黒目がちの巨目でジロッと見られると、桐野のような剛の者でも舌が張り付いて物も言えなかったという。そのうえ、異様な威厳があって、参議でも両手を畳について話し、目を見ながら話をする者がなかったと、長庶子の西郷菊次郎が語り残している。その最も特徴的な巨目を薩摩弁で呼んだのが「うどめ」であり、「うどめどん」が訛ったのが「うーとん」であろう。
沖永良部島の「社倉」のその後
沖永良部島は台風・日照りなど自然災害が多いところであったが絶海の孤島だったので、災害が起きたときは自力で立ち直る以外に方法がなかった。そのことを知った西郷は「社倉趣意書」を書いて義兄弟になっていた間切横目（巡査のような役）の土持政照に与えた。社倉はもともと朱熹の建議で始められたもので、飢饉などに備えて村民が穀物や金などを備蓄し、相互共済するもので、江戸時代には山崎闇斎がこの制度の普及に努めて農村で広く行われていた。若い頃から朱子学を学び、また郡方であった西郷は職務からして、この制度に詳しかったのであろう。この西郷の「社倉趣意書」は土持が与人となった後の明治3年（1870年）に実行にうつされ、沖永良部社倉が作られた。この社倉は明治32年（1899年）に解散するまで続けられたが、明治中期には20,000円もの余剰金が出るほどになったという。この間、飢饉時の救恤（きゅうじゅつ）の外に、貧窮者の援助、病院の建設、学資の援助など、島内の多くの人々の役にたった。解散時には西郷の記念碑と土持の彰徳碑、及び「南洲文庫」の費用に一部を充てた外は和泊村と知名村で2分し、両村の基金となった。
猟好きと猟犬
西郷は狩猟も漁（すなどり）も好きで、暇な時はこれらを楽しんでいる。自ら投げ網で魚をとるのは薩摩の下級武士の生活を支える手段の一つであるので、少年時代からやっていた。狩猟で山野を駆けめぐるのは肥満の治療にもなるので晩年まで最も好んだ趣味でもあった。西南戦争の最中でも行っていたほどであり、その傾倒ぶりが推察される。したがって猟犬を非常に大切にした。東京に住んでいた時分は自宅に犬を数十頭飼育し、家の中は荒れ放題だったという。
マキャベリストとしての評価
敬天愛人の体現者としての評価とは別に冷酷なマキャベリストしての評価も存在する。幕府を挑発するために不逞浪士に江戸市中で乱暴狼藉を行わせたり、官軍のために貢献した赤報隊を偽官軍として処断するなど道義に反する行いも数々している。