1910年ごろには父親がフェンシングの先生を招き、家族でフェンシングに取り組んだ。もっとも、ノイマンはまったく上達せず、先生も匙を投げてしまう。また、音楽の先生にピアノやチェロを習わせたが、これもまったく上達しなかった。実はレッスンの最中に譜面の裏に歴史や数学の本を隠して読んでいたことが後から判明した[4]。

1913年に父親が貴族に叙された（オーストリアのユンカーに相当する位）。この段階で「ノイマン・ヤーノシュ」は「フォン・ノイマン・ヤーノシュ」になり、さらにドイツ語のヨハン・フォン・ノイマン（Johann von Neumann）に変わることになる[6]。

1914年にはブダペストにあるルーテル・ギムナジウム「アウグスト信仰の福音学校」へ入学[7]。ノーベル物理学賞受賞者ユージン・ウィグナーとはルーテル校で学友だった[8]。入学したルーテル校のラースロー・ラーツ(en:Laszlo Ratz)がノイマンの数学の才能を見抜き、父親に「ご子息に普通の数学を教えるのはもったいないし、罪悪とすらいえるでしょう。もしもご異存がなければ、私どもの責任でご子息にもっと高度な数学を学べるように手配いたします。」と話し、父親が承諾すると、ラーツはブダペスト大学の数学者にノイマンを引き合わせた。その数学者のひとりであるヨージェフ・キルシャーク教授がセゲー・ガーボル講師にノイマンの家庭教師を頼んだ。セゲーは最初の授業で試しに出題した問題をノイマンがみごとに解いたので、その夜自宅で涙を浮かべて喜んでいたと、セゲーの妻は記憶している[9]。

1915年から1916年にセゲーはノイマンの家庭教師を続けた。その後、ブダペスト大学の数学者たちが個人教授をうけもった。そのうちのミヒャエル・フェケテとリポート・フェイエールが最もよく付き合った[10]。

1920年に17歳のギムナジウム時代に、数学者フェケテと共同で最初の数学論文「ある種の最小多項式の零点と超越直径について」を書く。その論文は1922年にドイツ数学会雑誌に掲載される[11]。

1921年にラーツは父親との約束を守り、ノイマンが数学以外の科目を勉強するように指導した。ノイマンはギリシャ語、ラテン語や歴史、そして数学の授業も他の生徒と同じように受けていた[11]。同窓生のウィルヘルム・フェルナーやウィグナーによると、ノイマンはみんなから好かれようと懸命に努力しており、いばるそぶりや自分の殻に閉じこもって周りを無視するようなことは無かった。しかし、体育は何をしてもまったくダメで、どうしても周りの学生といっしょになることはできなかった[12]。ギムナジウムでは首席であり、当時の成績表によると、ほとんどの科目は「優」であった。いっぽう、例外的に習字・体育・音楽の成績は落第すれすれの「可」であった[13]。6月に受験した卒業試験「マトゥーラ」では首席であり、さらにエトヴェシュ賞にも合格した[14]。

1921年から1926年にかけてブダペスト大学 (Eotvos Lorand Tudomanyegyetem) の大学院で数学を学んだ。数学よりも金になる学問をつけさせようと望んだ父親は友人のセオドア・フォン・カルマンに相談し[15]、ベルリン大学とチューリッヒ工科大学を掛け持ちして化学工学 (chemical engineering) を学ぶことになった。