まず、1949年（昭和24年）3 - 4月に落成した軽軸重形の8両が尾久（5両：C62 45 - 49）、宇都宮（3両：C62 19 - 21）の各機関区に配置された。さらに、山陽本線沿線の機関区に新製配置された初期製造車のうち11両が軽軸重形に改造の上、同年6月までに尾久（2両：C62 38・39）、宇都宮（1両：C62 8）、白河（3両：C62 9 - 11）、水戸（5両：C62 7・22 - 24・37）の各機関区に転属、[1][3]、東京以北区間でのC62形運用はこれら19両で開始された[1][3]。

運用開始から約半年を経た1949年末から1950年（昭和25年）9月にかけて尾久・宇都宮・水戸配置車は白河機関区と平機関区へ転配が行われ[3]、白河機関区の11両（C62 8 - 11、19 - 23・37・38）は東北本線の白河以南[注 11]、平機関区の8両（C62 7・24・39・45 - 49）は常磐線の平以南で急行列車・長距離普通列車を中心に運用されていた。その後東海道本線の電化が進み、1955年（昭和30年）以降にC59形が白河以南の東北本線用として宇都宮機関区へ転属、さらに仙台以南まで運用区間が拡大されたことから白河、福島第一、仙台の各機関区へも配属されることとなり、C62形はC59形の東北本線転用が始まる直前の1954年（昭和29年）9 - 11月にかけて白河機関区所属車が尾久機関区に転配、常磐線中心に運用されることとなり、入線区間も平以北へ伸び仙台まで列車を牽引することとなった。なお、1960年代の初めごろまでは、朝・夕の通勤・通学時間帯に運転される東京駅乗り入れの常磐線の普通列車（正確には、東京側の始発・終着駅は新橋駅）を牽引していたこともある。また、臨時列車の牽引では高崎線にも入線したことがあった[19]。

1958年（昭和33年）10月1日ダイヤ改正からは新設された特急「はつかり」の上野 - 仙台間（常磐線経由）の牽引機に抜擢され[1]、「はつかり」を受け持つこととなった尾久機関区へは平機関区から2両（C62 7・39）が転属、特急運転に備えてC62 7・10・11・20・22・37の逆転機を動力逆転機から手動のねじ式逆転機へと改造した。動力逆転機のまま残ったC62 8・9・19・23・38・39と平機関区配置車（C62 24・45 - 49）も整備上の問題から逆転機駆動部のカバーを外しただけでなく、上野 - 仙台間を機関車交換なしの通し運用とすることから、炭水車の上部に囲いを設け石炭搭載量を増す改造が尾久・平機関区配置車に実施された[注 12][20]。特急「はつかり」は、運転開始からわずか2年後の1960年（昭和35年）12月10日に新開発のキハ80系気動車へ置き換えられ、一時はC62形による特急仕業が消滅したが、尾久・平の両機関区に引き続きC62形が配置され、「みちのく」・「十和田」といった客車急行牽引の主力機として重用された。

もっとも、1963年（昭和38年）に常磐線の平駅（現・いわき駅）以南の交流電化工事が完成し、尾久機関区配置のC62形による運用はEF80形電気機関車によって置き換えられた[1]。このため、常磐線系統におけるC62形の運用は、以後、平 - 仙台間のみとなった。電化の進展により余剰となった尾久機関区配置の一部（C62 7・8・9・11・19・20）は水戸機関区を経て東北本線の仙台 - 青森間で旅客列車の輸送力を増強、C60形を東北本線から奥羽本線に転属させる検討が行われていた仙台機関区へ転属、同じ目的で小樽築港機関区から42も仙台に転属し、一旦は仙台機関区配置のC60形・C61形運用の一部を置き換える形で平 - 仙台間を中心に活躍を始めて急行「十和田」1往復や「おいらせ」も牽引したが[21]、仙台機関区ではC62形配置後燃料や潤滑油消費の増大が車両管理側から指摘され、また当時の長町 - 盛岡間ではC62形を上回る自重のD62形が運用され、C62形とほぼ同じ軸重のC60形は青森まで運用されていたものの、自重の大きい機関車の入線が増えることによって保線側から軌道への悪影響が懸念されただけでなく[注 13]、既にDD51形ディーゼル機関車の量産が始まっていたこともあり、仙台以北での本格的な運用実現には至らなかった。そのため、仙台機関区に配置されたC62形は一度転属させたC60形を戻すといったことも行われて1964年（昭和39年）に4両（C62 8・19・20・42）を廃車、残りの3両（C62 7・9・11）も1965年（昭和40年）度中に廃車となっている[22]。

その後、1965年（昭和40年）の東北本線盛岡駅電化の際に急行「北斗」の格上げで新設された20系による寝台特急「ゆうづる」（5・6列車）は所要時分短縮のために平坦な常磐線経由で運転されることとなり[注 14]、非電化のままの平 - 仙台間については平機関区配置のC62形がその牽引機に抜擢されることとなった[1]。以後、C62形の全廃までの間にC62形が配置された各線区で寝台特急が新規設定される事例はなかったため、この「ゆうづる」はC62形が牽引する最後の定期特急列車となった。

なお、この「ゆうづる」のヘッドマークは黒岩保美がデザインしたもので、「夕日をバックに飛翔する鶴」を描いたこのマークは「ゆうづる」が最後の蒸気機関車牽引特急となることを念頭に置いて、C62形に装着した際に最も映えるように配慮してデザインしたと後年に黒岩本人が証言している。彼は、計画段階で列車重量と経由路線からこの新設寝台特急がC62形牽引となることを推定し、しめたと思ったと述懐している。

新設時の「ゆうづる」は当時最新かつ軽量構造の20系客車を用い、現車13両、換算41両、つまり総重量410 tと比較的軽量の編成となっており、新製時の性能査定に基づいたダイヤ編成では特に問題なく運用可能のはずだった。だが、運転開始時点でC62形は既に車齢16年以上が経過し、しかも平機関区へ配置されていた12両はいずれもコンディションが決して良好とは言い難かった。そのため、比較的平坦な常磐線とはいえ平から仙台までの150 kmを無停車のまま2時間15分（上り：表定速度約67 km/h）で走破する厳しいダイヤ設定の「ゆうづる」は定時運行維持が困難と予想され、運転開始前の1965年（昭和40年）9月に品川客車区配置の20系予備車を連ねた15両編成[注 15]を用い、田端操車場と青森駅の間で本運用に準じたダイヤでの試運転が実施された。この試運転の結果、発熱量約6,500 kcal/hで、夕張・常磐・筑豊など各産地の異なるグレードの石炭を各機関区でブレンドした通常使用の石炭では火力不足から所定のダイヤでの運転が困難で、しかも仙台到達時点で石炭も水もほとんど使い果たすという非常に厳しい状況であることが判明した。このため営業運転の際には「ゆうづる」の運用（SL甲組 仕業番号1）に限って、北海道夕張産の高カロリーかつ排煙の少ない良質粉炭とピッチを混合・成形した「特級（急）豆炭」と呼ばれた発熱量8,000 kcal/hの甲種練炭限定搭載として機関車性能の底上げが行われ、また、ダイヤ上もあらかじめ設定されていた3パーセントの余裕時分を最大限に活用することで、かろうじて定時運行の維持が図られた。

こうして老朽化したC62形を用いて限界ぎりぎりの運用を実施した「ゆうづる」も、運転開始から2年後の1967年（昭和42年）10月1日には同区間の電化完成でED75形電気機関車の牽引に切り替えられた。電化工事そのものの完成は同年7月30日であり、客車急行や一部普通列車は、順次ED75形の牽引となり、特急「ゆうづる」も下り5列車が8月20日よりED75形の牽引に切り替えられ、上り6列車牽引のC62形は203列車で平から仙台へ回送するように変更された。