宣彦の生誕時に父は岡山医科大学（現在の岡山大学医学部）の寮にいたが、母は初産で、尾道の母方の実家に帰り宣彦を産んだ[34]。1歳のとき父が軍医として南方に出征したため、宣彦はそのまま母方の実家・尾道の山の手で、18歳で上京するまで育つ[出典 8][注釈 4]。母方の実家は築100年以上の古くて大きな家で、男女合わせて30?40人が住む賑やかな家ではあったが、父親がいないこと、他の従妹とも年が離れていたため一人で遊ぶことが多かった[34]。1?2歳の頃の楽しみは、庭のすぐ下を通過する山陽本線の蒸気機関車で、それはとてつもない恐怖体験だったという[34]。戦前の尾道には外国船も寄港し、南蛮渡来の不思議な積み荷が届くと、港の人が「先生、これは何でしょうか?」と祖父の元に持ち込み、「わしにもよう分からんけ、蔵に入れとけ」と、蔵の中は古今東西のガラクタで溢れていた[34]。2歳でその蔵にあったブリキの映写機のおもちゃに親しみ[34]、6歳で35mmフィルムに手描きしてアニメーションを作った[出典 9]。大林は1977年『瞳の中の訪問者』撮影中に樋口尚文のインタビューに答え、影響を受けた監督は誰かの質問に対して「観た映画は全部栄養になっていますから、特に師匠のように尊敬している人は名前が挙がらないのですが、日本で誰か一人と言われたならマキノ雅弘さんになっちゃうでしょうね。もっと言えばエジソンが映画というオモチャを発明して僕の子供部屋に送り込んでくれたということでしょうか」などと述べている[39]。映画監督は、映画を観て監督という職業を志すが、大林の場合は映画を観るより作ることから先に始まった[出典 10]。この祖父をモデルに作った『マヌケ先生』をもとにして後に三浦友和主演でテレビドラマ、映画が制作された[出典 11]。自身を投影している主人公の名前「馬場毬男」は、イタリアの撮影監督・マリオ・バーヴァをもじったもので、遺作となった『海辺の映画館―キネマの玉手箱』の主人公名でもある[注釈 5]。

大林の映画作りは、尾道の旧い家の子供部屋の闇の中から、一人こつこつと始まる[出典 12]。戦争で近所の親しかった人たちが次々と亡くなった。「幼少期に感じた死者の気配が映画づくりの原点。私が描くのは虚実のはざま。生きているのか死んでいるのか分からない人が登場する」と語る[19]。敵国だったアメリカの映画が公開再開されるようになったのは戦後のことで[出典 13]、大林は物心つく頃が戦中に当たるため、戦中は大日本帝国の軍部指導によって作られた戦意高揚映画と時代劇しか上映されず[出典 14]、大林もアメリカ映画を観たのは戦後となる[出典 15]。戦後にそれまで上映されなかったアメリカ映画を含む海外の映画が、白黒、カラーも製作年も関係なく、溢れんばかりに日本の劇場で上映された[3]。『HOUSE』をアメリカで紹介した人物の一人であるマーク・ウォルコフは「原子爆弾を食べてゴジラが生まれたみたいに、精しん年齢12歳に満たない子どもに、混ざるようにしていっぺんに大量の映画を与えてしまった占領政策の作品が大林を作っている」と論じた[3]。「精しん年齢12歳」というのは、マッカーサーが日本人を表現した言葉だが[3]、当時8歳だった大林は非常に納得したという[3]。尾道は造船所に連合軍の捕虜がいたため空襲に遭わなかった[43]。尾道の（当時あった）九つの映画館で上映される映画をすべて観ようと決意し、一週間を月月火水木金土土日日ペースで映画館に通い[43]、当時の映画は二本立て、三本立てで週20?30本ペースで映画を観て[3]、「どうかすると（尾道時代に）千本近い映画を観ていたと思います」と話す[36]。当時の映画館はたいてい満席で座って観ることはできず、ほとんど立って観たという[3]。尾道で唯一の洋画館だったセントラル劇場は、女郎屋街を抜けた場所にあり[43]、『海辺の映画館―キネマの玉手箱』などでも描かれている。終戦後に捕虜を叔父が手当てするため、国民学校に呼び出されたとき、一緒について行き、生まれて初めて白人を見た[43]。『冒険ダン吉』も『のらくろ』の猛犬連隊も日本人は白く描かれ、のらくろがやっつけるしなじやちょうせんじが黄色人種に描かれていたため、それまで日本人だけが白人だと思い込んでいた[43]。野蛮人と思い込んでいた白人の捕虜が、お礼にと貴重な落下傘の布やパイナップルの缶詰、チョコレートやチューインガムをくれた[43]。ガムは噛んでは水で洗い、粗末な甘味料に浸して一年ぐらい噛んだという[43]。アメリカ映画に強い影響を受けたのは[出典 16]、憧れのアメリカの白人がわんさか出てくるから[43]。「僕らの世代こそが完全なGHQの申し子世代」と述べている[43]。角川春樹と親しくなったきっかけは、角川「僕はアラン・ラッドの映画が好きでね」で、大林「おぬし、できるな」という会話から始まっているという[43]。有名な『シェーン』が公開されたとき、大林の感想は「ラッドが何でこんな大作西部劇に出るんだ?」「これでもう西部劇は終わった。こんな埃のしない西部劇ってあるのか、これは東部西部劇だ」だったという[43]。