ヌルミが15歳になったとき、ハンネス・コーレマイネンが1912年ストックホルムオリンピックで勝利、「世界中にフィンランドの国名を知らしめた」（run Finland onto the map of the world）と言われた。この出来事にヌルミは陸上競技への興味を再燃した[8]。彼は数日後にはじめてスニーカーを購入した[6]。トレーニングとしては夏にクロスカントリー競走を、冬にクロスカントリースキーを行った[4]。1914年、ヌルミはスポーツクラブのトゥルン・ウルヘイルリーット（英語版）に加入、はじめての3000メートル競走で勝利した[9]。その2年後、彼はトレーニング内容を変更してウォーキング、スプリント、体操を追加した[4]。彼は転職してトゥルクのAb. H. Ahlberg & Coという工房で働き、引き続き家計を支えた。その後、1919年4月にポリ旅団（英語版）のマシンガン中隊で兵役を始めると職を辞した[4]。1918年のフィンランド内戦では政治的には消極的のままで、仕事とオリンピックへの野心に集中した[4]。内戦が終結した後もフィンランド労働者スポーツ協会（英語版）には加入しなかったが、協会に寄稿して同僚や運動員に対する差別を批判した[4]。ヌルミ、1920年アントワープオリンピックの予選にて。

ヌルミは兵役中の陸上競技試合で頭角を現した。ほかの人々が行進するなか、ヌルミはライフルを肩に、さらに砂を積んだバックパックを背負って全距離を走った[9]。ヌルミの頑固な性格により下士官とはうまくいかなかったが、上級の士官に好まれた[9]（兵士の宣誓を断ったにもかかわらず[4]）。指揮官のフーゴ・オステルマンはスポーツの大ファンだったため、ヌルミほか数人は練習のための自由時間を与えられた[4]。ヌルミは兵舎で新しいトレーニング法を編み出した。すなわち、歩幅を引き伸ばすために、緩衝器に掴まって列車の後ろを走った。さらに足を強化するために重いアイアンクラッドブーツを使った[4]。ヌルミは個人記録を更新するようになり、オリンピック選抜に必要な成績に近くなった[9]。1920年3月、伍長（アリケルサンッティ（英語版））に昇進した[4]。1920年5月29日には自身初となるフィンランド記録を3000メートル競走で作り、7月には1500メートルと5000メートル競走のオリンピック予選を勝ち抜いた[8][10]。

この時期のヌルミの記録は下記である[11]。

年1500 m2000 m3000 m5000 m10000 m
191410:06.5
19156:06.89:3015:50.7
19165:5515:52.8
191715:47.5
19184:2915:50.7
19198:58.115:31.532:56

オリンピック
1920年と1924年のオリンピックヌルミ、1924年パリオリンピックにて。

ヌルミの国際でのデビューは1920年8月にベルギーで行われた1920年アントワープオリンピックである[9]。彼は5000メートル競走でフランスのジョゼフ・ギルモ選手に負けて初のオリンピックメダルとなる銀メダルを獲得した。ヌルミがオリンピックでフィンランド以外の選手に負けたのはこれ1回きりとなった[8]。