2人の幼子が預けられたゲンの実家・黒田家は、西成郡豊里村大字三番745番地（現・大阪市東淀川区豊里6丁目2-25）にあり、代々、「黒善」（黒田善右衛門の二字から）と呼ばれる素封家（資産家）で、広壮な家を構える大地主であった[30][31][32]。ところが、ゲンも翌1902年（明治35年）1月10日に同病で亡くなった（37歳没）。幼くして両親を失った康成は、祖父・川端三八郎と祖母・カネに連れられて、原籍地の大阪府三島郡豊川村大字宿久庄小字東村11番屋敷（のちの大阪府茨木市大字宿久庄1540-1。現・茨木市宿久庄1丁目11-25）に移った[16][33][34][35]。宿久庄の川端康成旧居跡（撮影2008年）

宿久庄の川端家は、豪族や資産家として村に君臨していた旧家で代々、豊川村の庄屋で大地主であったが、祖父・三八郎は若い頃に様々の事業に手を出しては失敗し、三八郎の代で財産の大半は人手に渡っていた[24][36]。三八郎は一時村を出ていたが、息子・栄吉の嫁・ゲンの死を聞き村に戻り、昔の屋敷よりも小ぶりな家を建てて、3歳の孫・康成を引き取った[16][37]。その際、7歳の芳子は、ゲンの妹・タニの婚家である大阪府東成郡鯰江村大字蒲生35番屋敷（現・大阪市城東区蒲生）の秋岡家に預けられ、芳子と康成の姉弟は離ればなれとなった[24]。タニの夫・秋岡義一は当時衆議院議員をしており、栄吉とゲンの遺した金3千円もその時に預かり、康成と祖父母はその月々の仕送りの金23円で生活をした[26][37]。

川端の家系は北条泰時から700年続き[36]、北条泰時の孫・川端舎人助道政が川端家の祖先である（道政の父親・駿河五郎道時は、北条泰時の九男）[30][38][39]。道政は、宿久庄にある如意寺（現・慧光院の前身）の坊官で、同寺は明治期まで川端家の名義であった[30][36]。川端家の29代目が三八郎で、30代目が栄吉、康成は31代目に当たる[38][40]。祖母・カネはゲンと同じく黒田家出身（伯母と姪の関係）で、血縁の途絶えようとしていた川端家に嫁いだ人であった[33]。父母の病死は幼い康成の胸に、〈（父母が）死んだ年頃までに、自分もまた死ぬであらう〉という〈病気と早死との恐れ〉を深く彫りつけたと同時に[25][41]、記憶のない父母（特に母性）への思慕や憧憬が川端の諸作品に反映されることになる[7][29]。
「寂寥の家」の神童

幼い頃の康成には一種の予知能力のようなものがあり、探し物の在り処や明日の来客を言い当てたり、天気予報ができたりと小さな予言をし、便利がられ[33][42]、「神童」と呼ばれることもあった[43]。また、康成は父親の虚弱体質を受け継いだ上、月足らずで生れたため、生育の見込みがないほど病弱で食が細く、祖母に大事に〈真綿にくるむやう〉に育てられていた[22][33][44]。

1906年（明治39年）4月、三島郡豊川尋常高等小学校（現・茨木市立豊川小学校）に入学した康成は、入学式の時は、〈世のなかにはこんなに多くの人がゐるのかとおどろき〉、慄きと恐怖のあまり泣いた[23][33][42]。人なかに出るのがいやで、私は学校を休みがちだつた。ところが、村々で児童の出席率の競争があつて、誘ひ合はせて登校する習はしだつたから、子供たちがそろつて押し寄せて来ると、私の家では雨戸をしめ、老人と私の三人が片隅でひつそりとすくんでゐた。子供たちが声を合はせて呼んでも答へなかつた。子供たちは悪口雑言し、雨戸に石を投げ、落書きをした。 ? 川端康成「行燈――落花流水」[42]

康成は学校を休みがちで、1年生の時は69日欠席し（258日のうち）[45]、しばらくは近所の百姓女の田中みとが授業中も教室まで付き添っていた[34]。小学校時代の旧友によると、康成の成績はよく、作文が得意で群を抜いていたという[30]。小学校に上がる前から祖母に、〈うんと醤油をふくませたかつを節を入れて巻いた、からい海苔巻〉を食べさせてもらいながら、〈いろは〉を習っていたため、〈学校で教はることは、ほとんどみなもう知つてゐて、学校がつまらなかつた。小学校に入る前から、私はやさしい読み書きはできた〉と川端は当時を述懐している[23][42]。なお、笹川良一とは小学の同級生であった[46][47]。祖父同士が囲碁仲間で[46]、笹川の父・鶴吉も、易学に凝っていた三八郎から私生活万端にわたって指示を受けていたという[16][30][37]。

しかし、小学校に入学した年の9月9日に優しかった祖母・カネが死去し（66歳没）、祖父との2人暮らしとなった。別居していた姉・芳子も翌1909年（明治42年）7月21日、誕生日前に13歳で夭折した[34]。川端にとって〈都合二度〉しか会ったことのない姉の姿は、祖母の葬儀の時のおぼろげな一つの記憶しかないという[24]。熱病に倒れた芳子の危篤を知った祖父は悲しみ、目が悪いながらも孫の身を易で占った。10歳の康成は姉の訃報をしばらく祖父に隠しておいてから、決心して読んで聞かせた[48]。これまでも何人もの子供を早くに亡くし、孫にも先立たれた祖父を康成は憐れむ[36]。女手がなくなった家に何かと手伝いにくる人への好意に涙脆く有難がる祖父が、康成にとっての〈ただ一人の肉親〉となった[33]。

小学校5、6年になると、欠席もほとんどなくなり、成績は全部「甲」であった[47]。康成は絵が得意であったため、文人画をたしなんでいた祖父の勧めで画家になろうと思ったこともあったが、上級生になると書物を濫読することに関心が向き、小学校の図書館の本は一冊もらさず読んでしまった[28]。康成は毎日のように庭の木斛の木に登り、〈楽々と仕事をする植木屋のやうに〉樹上に跨って本を読み[49]、講談や戦記物、史伝をはじめ、立川文庫の冒険小説家・押川春浪に親しんだ[23][28]。