ヌルミは兵役中の陸上競技試合で頭角を現した。ほかの人々が行進するなか、ヌルミはライフルを肩に、さらに砂を積んだバックパックを背負って全距離を走った[9]。ヌルミの頑固な性格により下士官とはうまくいかなかったが、上級の士官に好まれた[9]（兵士の宣誓を断ったにもかかわらず[4]）。指揮官のフーゴ・オステルマンはスポーツの大ファンだったため、ヌルミほか数人は練習のための自由時間を与えられた[4]。ヌルミは兵舎で新しいトレーニング法を編み出した。すなわち、歩幅を引き伸ばすために、緩衝器に掴まって列車の後ろを走った。さらに足を強化するために重いアイアンクラッドブーツを使った[4]。ヌルミは個人記録を更新するようになり、オリンピック選抜に必要な成績に近くなった[9]。1920年3月、伍長（アリケルサンッティ（英語版））に昇進した[4]。1920年5月29日には自身初となるフィンランド記録を3000メートル競走で作り、7月には1500メートルと5000メートル競走のオリンピック予選を勝ち抜いた[8][10]。

この時期のヌルミの記録は下記である[11]。

年1500 m2000 m3000 m5000 m10000 m
191410:06.5
19156:06.89:3015:50.7
19165:5515:52.8
191715:47.5
19184:2915:50.7
19198:58.115:31.532:56

オリンピック
1920年と1924年のオリンピックヌルミ、1924年パリオリンピックにて。

ヌルミの国際でのデビューは1920年8月にベルギーで行われた1920年アントワープオリンピックである[9]。彼は5000メートル競走でフランスのジョゼフ・ギルモ選手に負けて初のオリンピックメダルとなる銀メダルを獲得した。ヌルミがオリンピックでフィンランド以外の選手に負けたのはこれ1回きりとなった[8]。彼は残りの3競技で全て金メダルを得た。10000メートル競走では最後のコーナーでギルモを抜き去り、個人記録を1分以上更新した[12]。クロスカントリー個人ではスウェーデンのエリック・ベックマンを破り、クロスカントリー団体ではヘイッキ・リーマタイネンとテオドル・コスケンニエミとともにイギリスとスウェーデンに勝利した。ヌルミが勝利したことで家族は少し裕福になり、電灯と水道水を使えるようになった[5]。ヌルミ自身は奨学金を与えられ、ヘルシンキのテオッリスースコウル工業学校に進学した[9]。

ギルモに敗北したヌルミは様々な試合を実験として行い、細かく分析した[13]。ヌルミはそれまで最初の数周における猛烈な先行で知られたが、彼はストップウオッチを持って走るようになり、全距離を通じて等速で走るよう努力した[14]。彼は走りのテクニックを完璧なまでに高め、それは相手の成績が彼の順位に影響しなくなるほどだった[13]。ヌルミは1921年にストックホルムで自身初となる世界記録を10000メートル競走で作った[15]。