1925年の長いアメリカツアーの後、ヌルミは怪我とモチベーション低下に悩まされ、ビレ・リトラやエドヴィン・ヴィーデが強敵として立ちはだかるようになった。1928年アムステルダムオリンピックでは10000メートル競走の金メダルを再び獲得したが、5000メートル競走ではリトラに、3000メートル障害ではトイヴォ・ロウコラに敗れて銀メダルとなった。彼は続いてさらに長距離な競走である1時間競走と25マイル競走に挑み、世界記録を打ち立てた。彼は憧れのコーレマイネンと同じように選手生涯の最後をマラソンの金メダルで飾ろうとしたが、国際陸上競技連盟の委員会は1932年ロサンゼルスオリンピックの直前にヌルミがアマチュアかどうかに疑問を呈し、オリンピック開幕式の2日前にヌルミの参加資格を取り消した。これによりスウェーデンとフィンランドの関係（英語版）が緊張、反国際陸連の風潮が巻き起こった。結局、ヌルミをプロ選手とする宣言はついぞ発されなかったが、ヌルミの資格取り消しは1934年に確定、彼はそのまま引退した。

その後、ヌルミはフィンランド走者のコーチになり、冬戦争中にはフィンランドのために募金し、男性用衣料品店（英語版）の経営、建築業者、株式トレーダー（英語版）などの職に就き、やがてフィンランドの大資産家になった。1952年ヘルシンキオリンピックでは最終聖火ランナーを務めた。ヌルミの速さと性格のつかみどころのなさにより、「ファントム・フィン」（Phantom Finn）などのあだ名をつけられた。一方、彼の功績、トレーニング法と走法はそれ以降の中長距離走者に影響を与えた。常にストップウオッチをもって走ったヌルミは均一速度走法と分析的なトレーニング法の発明者とされ、またランニングを世界的にメジャーなスポーツにした人とされている。
幼少期ヌルミの家族、1924年撮影。

ヌルミは1897年、フィンランド大公国のトゥルクで大工ヨハン・フレドリク・ヌルミ（Johan Fredrik Nurmi）とその妻マティルダ・ヴィルヘルミーナ・ライネ（Matilda Wilhelmiina Laine）の間の息子として生まれた[4]。ヌルミの兄弟姉妹であるシーリ（Siiri）、サーラ（Saara）、マルッティ（Martti）、ラハヤ（Lahja）はそれぞれ1898年、1902年、1905年、1908年に生まれた[5]。1903年、ヌルミ一家はラウニストゥラ（英語版）からトゥルクの中心にある49平方メートルのアパートに転居、1932年までそのアパートに住んだ[5]。ヌルミと彼の友人たちはイギリスの長距離走者アルフレッド・シュラブ（英語版）に感銘を受けており[4]、定期的に6 km（4マイル）を走るか歩いてルイッサロ島（英語版）に行ってそこで泳いだ後、帰り道も同じようにした。時にはこのトレーニングを1日2回行った[6]。ヌルミは11歳までに1500メートルを5分2秒で走った[4]。ヌルミの父ヨハンは1910年に、妹のラハヤは1911年に死去した[5]。ヌルミ一家の家計が苦しくなり、台所を別の家族に貸出して自分たちは一室に住んだ[4]。ヌルミは学問の才能があったが退学してパン屋の使い走りとして働いた[5]。彼は走るのをやめたが[4]、仕事で重い台車を押しながらトゥルクの急坂を登ったことが運動の代わりとなった[7]。彼は後にこの「運動」が彼の背筋と足腰を強めたと述べた[7]。

ヌルミが15歳になったとき、ハンネス・コーレマイネンが1912年ストックホルムオリンピックで勝利、「世界中にフィンランドの国名を知らしめた」（run Finland onto the map of the world）と言われた。この出来事にヌルミは陸上競技への興味を再燃した[8]。彼は数日後にはじめてスニーカーを購入した[6]。トレーニングとしては夏にクロスカントリー競走を、冬にクロスカントリースキーを行った[4]。