9歳の時にロンドンに呼び戻され、以後子供時代をロンドンで過ごした[26][18]。ロンドンでの子ども時代は暗いもので、激しい民族的偏見の中で学校生活を送った[18][33]。12歳から約4年間初めてロンドンのハマスミスにある学校に通ったが、英語にアイルランド訛りがあり、虚弱だったが誇り高い様子を見せていたため、「頭のおかしいアイルランド人」「外国人」と繰り返し罵られ喧嘩になり、当時華奢だったイェイツは一度も勝てず、暴力を振るわれて何度も目の周りに痣を作り、悲しみと怒りを爆発させた[34][28]。成績は平凡で、得意科目は特になく、学校で習うイギリスの歴史も他人事のように感じた[28]。ロンドンで暮らす一家は、スライゴのポレックスフェン家をたびたび訪れ、彼は学校の休みのほとんどを祖父母の元で過ごした[2]。こうした環境の中、スライゴへの激しい郷愁とロンドンへの憎悪を育むことになった[34]。スライゴの湖にあるイニスフリーの小島で将来暮らすことが、少年時代から育んだ夢だったという[35]。ある屈強で運動が得意な少年からボクシングを習い、ややましな状況になるまで、一方的ないじめが続いた[34]。

イェイツにとって、母や、多くの海洋冒険譚をもつ剛気な祖父、土地や家にまつわる物語や不思議な体験をもつ祖母、変わり者の叔父ジョージ、多くの伝承説話（『ケルトの薄明』に収録）の語り手であった女中のメアリー・バトルといった、スライゴのポレックスフェン家の人々は、アイルランドの伝承を受け継ぐ親密な伝承集団であった[18]。後年に書いた『自叙伝』で、幼い頃弟の死の前夜に、母と使用人が妖精バンシーの泣き声を聞いた、という逸話を書き残している[36]。スライゴの美しい風景や、母やポレックスフェン家の人々等から聞いたアイルランドの習俗や妖精伝説は、スライドをイェイツの原風景とし、アイルランドへの愛着、アイルランド人としての自覚をはぐくみ、後の詩作の重要な着想源となった[18][37][24]。また、8、9歳の頃父にウォルター・スコットの『最後の吟遊詩人の歌（英語版）』や『アイヴァンホー』を読んでもらい大きな感銘を受け、『最後の吟遊詩人の歌』から、大きくなったら魔法使いになる夢を抱いたという[38]。

幼年期から青年期は、プロテスタント・アセンダンシーが没落し、新勢力にとって替わる時期であり、イェイツ家が先祖から受け継いだ所有地は、19世紀後半に勃発した3度のアイルランド土地戦争（英語版）で地代がどんどん下落し、イェイツが15歳の頃には、土地に何重にも抵当権が設定されたあげく売却され、地代収入がなくなった[17][39]。

地代収入がなくなった一家は、1881年にダブリン県へ戻った。