この時期のヌルミの記録は下記である[11]。

年1500 m2000 m3000 m5000 m10000 m
191410:06.5
19156:06.89:3015:50.7
19165:5515:52.8
191715:47.5
19184:2915:50.7
19198:58.115:31.532:56

オリンピック
1920年と1924年のオリンピックヌルミ、1924年パリオリンピックにて。

ヌルミの国際でのデビューは1920年8月にベルギーで行われた1920年アントワープオリンピックである[9]。彼は5000メートル競走でフランスのジョゼフ・ギルモ選手に負けて初のオリンピックメダルとなる銀メダルを獲得した。ヌルミがオリンピックでフィンランド以外の選手に負けたのはこれ1回きりとなった[8]。彼は残りの3競技で全て金メダルを得た。10000メートル競走では最後のコーナーでギルモを抜き去り、個人記録を1分以上更新した[12]。クロスカントリー個人ではスウェーデンのエリック・ベックマンを破り、クロスカントリー団体ではヘイッキ・リーマタイネンとテオドル・コスケンニエミとともにイギリスとスウェーデンに勝利した。ヌルミが勝利したことで家族は少し裕福になり、電灯と水道水を使えるようになった[5]。ヌルミ自身は奨学金を与えられ、ヘルシンキのテオッリスースコウル工業学校に進学した[9]。

ギルモに敗北したヌルミは様々な試合を実験として行い、細かく分析した[13]。ヌルミはそれまで最初の数周における猛烈な先行で知られたが、彼はストップウオッチを持って走るようになり、全距離を通じて等速で走るよう努力した[14]。彼は走りのテクニックを完璧なまでに高め、それは相手の成績が彼の順位に影響しなくなるほどだった[13]。ヌルミは1921年にストックホルムで自身初となる世界記録を10000メートル競走で作った[15]。1922年には2000メートル、3000メートル、5000メートル競走の世界記録を塗り替えた[14]。さらに1923年に1500メートル競走と1マイル競走の世界記録を更新した[14]。1マイル、5000メートル、10000メートル競走の世界記録を同時に保有したのは2017年時点でヌルミただ1人であった[8]。ヌルミは800メートル走にも挑戦、1923年のフィンランド選手権をフィンランド記録を更新しつつ勝利した[16]。ヌルミは数学を学んで優秀な成績を上げた後[17]、1923年にエンジニアとして卒業、うちに戻って次のオリンピックを準備した[5][9]。

ヌルミが1924年春にひざを怪我したことで1924年パリオリンピックの参加が一時危うくなったが、彼は回復して1日2回のトレーニングを再開した[16]。6月19日、ヌルミはオリンピックのスケジュールを試そうとしてヘルシンキのエラインタルハ競技場（英語版）で1500メートルと5000メートルを1時間内に走り、両方とも世界記録を更新した[18]。