3歳で両親が離婚し、5歳で母親が再婚、義父とは折り合いが悪く、団地の2階上に住む祖父母宅で一時暮らしたが、小学5年生の時に祖父の体調が悪くなり、祖父母と両親（実母と義父）、6歳下と8歳下の異父弟を含め一家7人で暮らした[37]。中学3年生で芸能界に入り、23歳でCDデビュー後、母親が癌を発病し、それが原因となり義父と離婚[37][36]。横山が29歳の時に急逝した[39][43]。詳細は「#母親の急逝」を参照

母親も仕事を掛け持ちして働いていたが、「早く自立して2人の弟を養いたい」との思いから、自身も中学校を卒業後は実家を出て、芸能活動と並行して建設会社に就職していた[36][37]。このことから、ジャニーズJr.の仕事でテレビ局入りする際は、周りのほとんどが学校帰りの制服姿だったのに対し、横山は建設現場帰りのニッカポッカで通っていたため、スタッフから「流石にそれ（ニッカポッカ）はまずい。ジャニーズは夢を売る仕事であって、今までのジャニーズのセオリーでそれは無い」と注意されたという[44]。横山は建設現場でも他の作業員の足手纏いにならないよう一生懸命働いたため上司にも気に入られており、その後、芸能の仕事が忙しくなり、職場の建設会社に退職を願い出ると「芸能界でだめだったらいつでも戻ってこい」と温かく送り出されたという[44][16]。これに対して自身も「すごく安心しました。でも、戻ってきたらあかんという覚悟でジャニーズで頑張ろうと思った」と語っている[44]。なお、2015年には、関ジャニ∞の冠番組『関ジャニの仕分け∞』（テレビ朝日）の企画で、メンバーの大倉忠義と共に高等学校卒業程度認定試験に合格している[45][46]。

実母と義父の離婚後は、弟2人は児童養護施設に預けられたものの、「僕がしっかりしないと弟たちの将来がむちゃくちゃになる」「（弟）2人が独り立ちするまで支えなければ」との思いから、下の弟が大学進学を志望した時の学費は横山が出した[37]。その後、上の弟は苦難があったものの結婚し、下の弟は税理士という夢を叶えた[47]。
母親の急逝

2010年5月16日、実母が虚血性心疾患により、50歳で急逝[39][43][48]。横山が29歳の時だった[47]。

自身には青森県でのソロライブ開演4時間前に訃報が伝えられ、大きなショックを受けたものの、ライブは予定通り開催した[39][48]。このことについて、事務所側にも「どうする？」と何度も聞かれたが「大丈夫だから」と言い、楽屋でも本番中も泣き崩れそうになったが「迷いはなかった」「僕が笑ってステージに立たないで家に帰ったら、そんなのオカンもイヤやろうな」と自身を奮い立たせ、ライブをやり切ったと語っている[48]。また、ツアーでは、母親との思い出を元に自身が作詞した楽曲「オニギシ」も披露しており[43][39]、当日は歌う前に「僕は家族が大好きです。親に感謝は忘れないでください。親がいることは当たり前ではないですから」と語っており、これは自身が母親に対して「ありがとう」という思いを伝えられないまま死別したため、そのことをとても悔やんでおり、「ファンの人には、そんな思いさせたくない」と考えたからである[48]。その後も公演スケジュールを予定通りにこなし、すすり泣く客席に「しんみりするなよ」と笑いかける場面もあった[49]。

翌5月17日には、青森で関西テレビ『関ジャニ∞のジャニ勉』のロケに参加する予定だったが、ロケは安田と丸山に任せ欠席し、母親の通夜に参列した[39]。18日の告別式には関ジャニ∞のメンバーも全員参列[39][50]。19日には大阪で『ジャニ勉』の収録から仕事復帰した[39]。

母親の死に対して横山は「人生で一番泣いた。後にも先にもあんな辛い事は無い」と心境を語っている[50]。

告別式に関ジャニ∞のメンバー全員が参列したことに対して、「めちゃくちゃ嬉しかった」「みんなが来てくれた事が凄い誇れた」と語っており、その葬式の帰りに丸山の家に集まり、様々なことを話す中で、大倉曰く「俺らはメンバーであり仲間やけど、これからは俺らが横山くんの家族にもならなあかん」と話し合ったという[50]。

母親の死去により、上の弟の記憶に障害が生じた[47][51]。