イェイツ家は、6代前にイングランドのヨークシャー地方から移住した、いわゆるニュー・イングリッシュ?[注 1]で、曾祖父と祖父はアイルランドのイギリス国教会系のプロテスタントの教区牧師だった[15]。曾祖父の母はオールド・イングリッシュ[注 2]の名家でキルデア県の貴族バトラー家[注 3]の血を引いており、イェイツ家はバトラー家との婚姻関係を誇りに思い、イェイツのミドルネームはこれにちなんでいる[15][16]。貴族の血を引くイェイツ家もキルデア県にわずかに土地を持ち、不在地主（英語版）として地代を得ていた[17]。イェイツ家の家風は厳格で、イェイツは「何か居心地の悪い重苦しいものを感じた」と語っている[18]。

イェイツ家は、アングロサクソンのプロテスタントであるアングロ・アイリッシュ（英語版）で、ゲーリック・アイリッシュと言われる土着のケルト系ローマ・カトリック（アイリッシュ・カトリック（英語版））の人々からは区別される存在だった[19]。彼の幼年時代は、プロテスタント・アセンダンシー（英語版）[注 4]（アイルランド征服に従って移住したプロテスタントの子孫で、アイルランドにおける排他的・優越的な地主の支配者層（英語版））と、カトリックの小作人、という支配者・被支配者の構造がはっきりとあった[17]。「アングロ・アイリッシュのもつ孤独」は、幼年時代のイェイツのジレンマの核となった[20][17]。多数派のカトリックとは信仰を共有できず、プロテスタントに対しては物質的な成功への関心に反発を感じた[2]。ジョン・バトラー・イェイツ

父ジョン・バトラー・イェイツ（英語版）は、父や祖父と同じように聖職に就くのを避けて、法律を学んで弁護士資格を取り、法律家として将来を嘱望されていたが、結婚後に子どもが生まれると、画家になる決意を固め、後に肖像画家になった[16][21]。英文学者の野中涼は、「経済的な配慮なしに、自分の本当にしたいことだけをする、と強く決心した人だったそうである。」と述べている[21]。母スーザン・イェイツ（旧姓ポレックスフェン）はアイルランド西部スライゴの、海運業と製粉業を営む裕福な商人の家の娘で、美しく感受性豊かで、この地方の民間伝承に深く親しんでいた[18][22][23]。漁師たちの間に気軽に入り（夫はそうした行いを嫌っていた）、彼らに伝えられた伝承や物語を聞くことを好んだ[18]。母は不安定な画家の生活に失望し、家事も上手ではなく、4人の子ども達にとってあまり良い母親ではなかったという[18]。実家のあるスライゴに激しい愛着を持ち、アイルランドを離れることを嫌い、長い病弱の生活で内向的な性格を強めていった[18]。

イェイツ家の祖先には、イギリスやイギリス人に反感を持ったり、アイルランドのカトリックに同情的な人もおり、父ジョンは政治に無関心な穏健な画家だったが、芸術家でないイギリス人には冷淡であり、母のポレックスフェン家の人々は王党派プロテスタントで、カトリックや愛国主義者を軽蔑していたが、にもかかわらずイギリス生まれの人々に反感を持っており、イェイツの周囲には反英的な空気が漂っていた[24]。

イェイツ家は芸術一家で、妹のスーザン・メアリー・イェイツ (リリー) とエリザベス・イェイツ（英語版）(ロリー) は画家・工芸家・デザイナーになり、ジャック・バトラー・イェイツ（英語版）は父と同じ画家になった[23]。
幼年期から第一詩集まで夏休みを過ごしたスライゴの家

1865年6月13日、イングランドの支配下にあったアイルランドのダブリン県に生まれた。弁護士になるはずだった父は、子どもが生まれると突然突然画家になると言い出し、単身ロンドンに行き、美術学校で絵の勉強を始めた[21][25]。イェイツが2歳のときに母と共にロンドンへ移り、父と合流した[25][26]。4年ほどロンドンで暮らし、2年ほどアイルランド港町スライゴの祖父母のもとに預けられ、8歳までいわば野育ちのように成長し、叔母たちが読み書きを教えようとしたが、いつも挫折しており、周囲は正常な知能に欠けると思ったほどであった[27][25][28]。文法はわからず、字は汚く、スペルミスだらけで、生涯スペルミスは治らなかった[28]。イェイツはやせ細った繊細な少年で、嘲笑われることを特に嫌っていたが、威厳ある祖父は無口で厳しく、母の姉妹には毒舌で横暴な人もおり、イェイツは大勢の叔父や叔母を恐れ、心が傷つくことも少なくなかった[29]。ポレックスフェン家の人々は、彼の父のジョンを敗者とみなし、イェイツを父のレプリカと見ており、一方父は、ポレックスフェン家を「不愉快な人たち」と思っており、イェイツの国語力の低さにポレックスフェン家の「負」の資質を見て、彼にあれこれ言っては自尊心を傷つけた[28]。父は息子の教育に熱心だったが、そのやり方は時に暴力を伴うものだった[30]。