父・仁一郎は、「阪口五峰」「七松山人」の号で漢詩集の著書『北越詩話』（1918-1919年）、『舟江雑誌』のある漢詩人でもあり（森春濤の門下）、市島春城（春城）、会津八一と親交があった。新潟米穀株式会社取引所理事長、新潟新聞社（現・新潟日報社）社長なども務め、衆議院議員の政治家としては、大隈重信の下で憲政擁護に尽力し、若槻禮次郎、加藤高明、犬養毅（木堂）、尾崎行雄（咢堂）らと政友であった[10]。安吾は父について、「三流の政事家であった」としている[11]。10歳年上の長兄の献吉は、後に新潟日報社やラジオ新潟（現・新潟放送）の社長などを務めた。母・アサの実家は、新潟県中蒲原郡五泉町大字五泉（現・五泉市本町）の大地主・吉田家であった。吉田一族は皆〈ユダヤ的な鷲鼻〉を持ち、特に母・アサの兄（伯父）の眼は青く、〈まつたくユダヤの顔で、日本民族の何物にも似てゐなかつた〉という[9]。アサは仁一郎の後妻で、傾いた家計を支えるのに苦労していた。炳五は、5歳の時に生れた妹・千鶴に母親を奪われたという思いが強く、気丈でヒステリックな母から愛されなかったという孤独を抱き、見知らぬ街を彷徨うこともあった[7][9]。炳五は、自分ばかり憎み叱責する母に対する反抗心を増し、砂丘に寝転んで光と小石の風景を眺めながら、海と空と風の中にふるさとと愛を感じ、その中にふるさとの母を求めていた[9]。

幼少時の炳五は破天荒な性格で知られ、ガキ大将として近所の子供を引き連れ、町内や砂丘、茱萸林、異人池で遊び回り、立川文庫の『猿飛佐助』を愛読し忍術ごっこに興じて忍法を研究していた。炳五の従姉妹の徳（アサの妹の娘。のちの献吉の妻）によると、ある叔父が「炳五はとてつもなく偉くなるか、とんでもない人間になるか、どちらかだ」と言っていたという[2][注釈 1]。小学校での成績は優秀で、ほとんどの科目が10点満点だったが、新潟県立新潟中学校（現・新潟県立新潟高等学校）に入学すると近眼で黒板の字が読めなくなり、英語や数学の成績も下がった。家計は遣り繰りがうまくいかずに差押えを受けていたため、母から眼鏡を買ってもらえず、炳五はその真相が級友に分かるのが恥ずかしく、ほとんど授業に出なくなる。また横暴な上級生への反抗の気持ちも強く学校を休み、放課後の柔道などの練習だけ通った。ようやく眼鏡も買ってもらうが、炳五の不注意で黒眼鏡を買ってしまい、友人たちが珍しがって引ったくり、いじっているうちに壊れてしまう。授業が面白くなく、野球漫画を描き、海岸の砂丘の松林で寝転がるなどして過ごし、雨の日は学校近くのパン屋の二階で歌留多（小倉百人一首）に興じる。この頃、谷崎潤一郎『ある少年の怖れ』などを読む[9][2]。またこの頃、新潟市のシンボルであった木造の2代目萬代橋がかけ替えられることが決まり、長い間不思議な悲しみに襲われた[12]。
「偉大なる落伍者」への決意

中学2年の時に、4科目（英語、博物など）で不合格となり留年したため、家庭教師をつけられるなどしたが、逃げ回っていた。勉強をしない炳五に漢文の教師が、「お前なんか炳五という名は勿体ない。自己に暗い奴だからアンゴと名のれ」と黒板に「暗吾」と書いたとされ、これが「安吾」の由来とされる[9][13]。