その後、ヌルミはフィンランド走者のコーチになり、冬戦争中にはフィンランドのために募金し、男性用衣料品店（英語版）の経営、建築業者、株式トレーダー（英語版）などの職に就き、やがてフィンランドの大資産家になった。1952年ヘルシンキオリンピックでは最終聖火ランナーを務めた。ヌルミの速さと性格のつかみどころのなさにより、「ファントム・フィン」（Phantom Finn）などのあだ名をつけられた。一方、彼の功績、トレーニング法と走法はそれ以降の中長距離走者に影響を与えた。常にストップウオッチをもって走ったヌルミは均一速度走法と分析的なトレーニング法の発明者とされ、またランニングを世界的にメジャーなスポーツにした人とされている。
幼少期ヌルミの家族、1924年撮影。

ヌルミは1897年、フィンランド大公国のトゥルクで大工ヨハン・フレドリク・ヌルミ（Johan Fredrik Nurmi）とその妻マティルダ・ヴィルヘルミーナ・ライネ（Matilda Wilhelmiina Laine）の間の息子として生まれた[4]。ヌルミの兄弟姉妹であるシーリ（Siiri）、サーラ（Saara）、マルッティ（Martti）、ラハヤ（Lahja）はそれぞれ1898年、1902年、1905年、1908年に生まれた[5]。1903年、ヌルミ一家はラウニストゥラ（英語版）からトゥルクの中心にある49平方メートルのアパートに転居、1932年までそのアパートに住んだ[5]。ヌルミと彼の友人たちはイギリスの長距離走者アルフレッド・シュラブ（英語版）に感銘を受けており[4]、定期的に6 km（4マイル）を走るか歩いてルイッサロ島（英語版）に行ってそこで泳いだ後、帰り道も同じようにした。時にはこのトレーニングを1日2回行った[6]。ヌルミは11歳までに1500メートルを5分2秒で走った[4]。ヌルミの父ヨハンは1910年に、妹のラハヤは1911年に死去した[5]。ヌルミ一家の家計が苦しくなり、台所を別の家族に貸出して自分たちは一室に住んだ[4]。ヌルミは学問の才能があったが退学してパン屋の使い走りとして働いた[5]。彼は走るのをやめたが[4]、仕事で重い台車を押しながらトゥルクの急坂を登ったことが運動の代わりとなった[7]。彼は後にこの「運動」が彼の背筋と足腰を強めたと述べた[7]。

ヌルミが15歳になったとき、ハンネス・コーレマイネンが1912年ストックホルムオリンピックで勝利、「世界中にフィンランドの国名を知らしめた」（run Finland onto the map of the world）と言われた。この出来事にヌルミは陸上競技への興味を再燃した[8]。彼は数日後にはじめてスニーカーを購入した[6]。トレーニングとしては夏にクロスカントリー競走を、冬にクロスカントリースキーを行った[4]。1914年、ヌルミはスポーツクラブのトゥルン・ウルヘイルリーット（英語版）に加入、はじめての3000メートル競走で勝利した[9]。その2年後、彼はトレーニング内容を変更してウォーキング、スプリント、体操を追加した[4]。彼は転職してトゥルクのAb. H. Ahlberg & Coという工房で働き、引き続き家計を支えた。その後、1919年4月にポリ旅団（英語版）のマシンガン中隊で兵役を始めると職を辞した[4]。1918年のフィンランド内戦では政治的には消極的のままで、仕事とオリンピックへの野心に集中した[4]。内戦が終結した後もフィンランド労働者スポーツ協会（英語版）には加入しなかったが、協会に寄稿して同僚や運動員に対する差別を批判した[4]。ヌルミ、1920年アントワープオリンピックの予選にて。

ヌルミは兵役中の陸上競技試合で頭角を現した。ほかの人々が行進するなか、ヌルミはライフルを肩に、さらに砂を積んだバックパックを背負って全距離を走った[9]。ヌルミの頑固な性格により下士官とはうまくいかなかったが、上級の士官に好まれた[9]（兵士の宣誓を断ったにもかかわらず[4]）。指揮官のフーゴ・オステルマンはスポーツの大ファンだったため、ヌルミほか数人は練習のための自由時間を与えられた[4]。ヌルミは兵舎で新しいトレーニング法を編み出した。すなわち、歩幅を引き伸ばすために、緩衝器に掴まって列車の後ろを走った。さらに足を強化するために重いアイアンクラッドブーツを使った[4]。ヌルミは個人記録を更新するようになり、オリンピック選抜に必要な成績に近くなった[9]。1920年3月、伍長（アリケルサンッティ（英語版））に昇進した[4]。1920年5月29日には自身初となるフィンランド記録を3000メートル競走で作り、7月には1500メートルと5000メートル競走のオリンピック予選を勝ち抜いた[8][10]。

この時期のヌルミの記録は下記である[11]。

年1500 m2000 m3000 m5000 m10000 m
191410:06.5
19156:06.89:3015:50.7
19165:5515:52.8
191715:47.5
19184:2915:50.7
19198:58.115:31.532:56

オリンピック
1920年と1924年のオリンピックヌルミ、1924年パリオリンピックにて。

ヌルミの国際でのデビューは1920年8月にベルギーで行われた1920年アントワープオリンピックである[9]。彼は5000メートル競走でフランスのジョゼフ・ギルモ選手に負けて初のオリンピックメダルとなる銀メダルを獲得した。ヌルミがオリンピックでフィンランド以外の選手に負けたのはこれ1回きりとなった[8]。彼は残りの3競技で全て金メダルを得た。10000メートル競走では最後のコーナーでギルモを抜き去り、個人記録を1分以上更新した[12]。クロスカントリー個人ではスウェーデンのエリック・ベックマンを破り、クロスカントリー団体ではヘイッキ・リーマタイネンとテオドル・コスケンニエミとともにイギリスとスウェーデンに勝利した。