ヌルミが15歳になったとき、ハンネス・コーレマイネンが1912年ストックホルムオリンピックで勝利、「世界中にフィンランドの国名を知らしめた」（run Finland onto the map of the world）と言われた。この出来事にヌルミは陸上競技への興味を再燃した[8]。彼は数日後にはじめてスニーカーを購入した[6]。トレーニングとしては夏にクロスカントリー競走を、冬にクロスカントリースキーを行った[4]。1914年、ヌルミはスポーツクラブのトゥルン・ウルヘイルリーット（英語版）に加入、はじめての3000メートル競走で勝利した[9]。その2年後、彼はトレーニング内容を変更してウォーキング、スプリント、体操を追加した[4]。彼は転職してトゥルクのAb. H. Ahlberg & Coという工房で働き、引き続き家計を支えた。その後、1919年4月にポリ旅団（英語版）のマシンガン中隊で兵役を始めると職を辞した[4]。1918年のフィンランド内戦では政治的には消極的のままで、仕事とオリンピックへの野心に集中した[4]。内戦が終結した後もフィンランド労働者スポーツ協会（英語版）には加入しなかったが、協会に寄稿して同僚や運動員に対する差別を批判した[4]。ヌルミ、1920年アントワープオリンピックの予選にて。

ヌルミは兵役中の陸上競技試合で頭角を現した。ほかの人々が行進するなか、ヌルミはライフルを肩に、さらに砂を積んだバックパックを背負って全距離を走った[9]。ヌルミの頑固な性格により下士官とはうまくいかなかったが、上級の士官に好まれた[9]（兵士の宣誓を断ったにもかかわらず[4]）。指揮官のフーゴ・オステルマンはスポーツの大ファンだったため、ヌルミほか数人は練習のための自由時間を与えられた[4]。ヌルミは兵舎で新しいトレーニング法を編み出した。すなわち、歩幅を引き伸ばすために、緩衝器に掴まって列車の後ろを走った。さらに足を強化するために重いアイアンクラッドブーツを使った[4]。ヌルミは個人記録を更新するようになり、オリンピック選抜に必要な成績に近くなった[9]。1920年3月、伍長（アリケルサンッティ（英語版））に昇進した[4]。1920年5月29日には自身初となるフィンランド記録を3000メートル競走で作り、7月には1500メートルと5000メートル競走のオリンピック予選を勝ち抜いた[8][10]。

この時期のヌルミの記録は下記である[11]。