呉線の運用では、1967年（昭和42年）10月1日の常磐線全線電化（後述）で余剰となった軽軸重形5両（C62 23・37・46 - 48）が同年10月上旬から順次平機関区から糸崎機関区に転属[1][13]、同区で廃車対象となっていた重軸重形5両（C62 5・14・18・25・34）を置き換えた一方で軽軸重から重軸重形への改造は行われないまま使われていたが、編成重量が呉線内の単機牽引定数一杯となる12両編成、460 tであった急行「音戸」を牽引した際には16‰前後の勾配区間が連続する安登駅周辺で空転が頻発したため、1969年（昭和44年）1月から編成重量の比較的軽い[注 8]「安芸」は重軸重・軽軸重形問わずC62形の牽引が基本となる一方[注 9]、「音戸」などの重量列車牽引はより軸重の重いC59形限定運用と分離され[14][15]、同年中には軽軸重形3両（C62 46 - 48）が、翌1970年（昭和45年）3月にはC62 41が廃車となり[3]、糸崎機関区ではC62形に運用の余裕がなくなったことから一部の旅客列車運用をD51形が代走することもあった[16]。呉線の電化工事は1970年（昭和45年）8月に完成、同月22日からは一部の蒸気機関車牽引列車に電気機関車を連結して訓練を行う電蒸運転、9月15日からは上り「安芸」などで電機単独運転も行われるようになり、山陽本線・呉線での運用は1970年（昭和45年）9月30日[注 10]が最後となった[17][18]。最後まで運用された5両のうち2両（C62 15・16）は小樽築港機関区へ転属[1]、C62 17は稲沢第一機関区を経て名古屋市内へ保存の手配がとられたが、常磐線電化による転属車で最後まで残った2両（C62 23・37）は廃車となり、糸崎機関区からはC62形の配置がなくなった。これをもって、C62 1の新製配置以来22年に渡った、東海道・山陽本線系統での運用は終了した[1]。
東北本線・常磐線

まず、1949年（昭和24年）3 - 4月に落成した軽軸重形の8両が尾久（5両：C62 45 - 49）、宇都宮（3両：C62 19 - 21）の各機関区に配置された。さらに、山陽本線沿線の機関区に新製配置された初期製造車のうち11両が軽軸重形に改造の上、同年6月までに尾久（2両：C62 38・39）、宇都宮（1両：C62 8）、白河（3両：C62 9 - 11）、水戸（5両：C62 7・22 - 24・37）の各機関区に転属、[1][3]、東京以北区間でのC62形運用はこれら19両で開始された[1][3]。

運用開始から約半年を経た1949年末から1950年（昭和25年）9月にかけて尾久・宇都宮・水戸配置車は白河機関区と平機関区へ転配が行われ[3]、白河機関区の11両（C62 8 - 11、19 - 23・37・38）は東北本線の白河以南[注 11]、平機関区の8両（C62 7・24・39・45 - 49）は常磐線の平以南で急行列車・長距離普通列車を中心に運用されていた。その後東海道本線の電化が進み、1955年（昭和30年）以降にC59形が白河以南の東北本線用として宇都宮機関区へ転属、さらに仙台以南まで運用区間が拡大されたことから白河、福島第一、仙台の各機関区へも配属されることとなり、C62形はC59形の東北本線転用が始まる直前の1954年（昭和29年）9 - 11月にかけて白河機関区所属車が尾久機関区に転配、常磐線中心に運用されることとなり、入線区間も平以北へ伸び仙台まで列車を牽引することとなった。なお、1960年代の初めごろまでは、朝・夕の通勤・通学時間帯に運転される東京駅乗り入れの常磐線の普通列車（正確には、東京側の始発・終着駅は新橋駅）を牽引していたこともある。また、臨時列車の牽引では高崎線にも入線したことがあった[19]。

1958年（昭和33年）10月1日ダイヤ改正からは新設された特急「はつかり」の上野 - 仙台間（常磐線経由）の牽引機に抜擢され[1]、「はつかり」を受け持つこととなった尾久機関区へは平機関区から2両（C62 7・39）が転属、特急運転に備えてC62 7・10・11・20・22・37の逆転機を動力逆転機から手動のねじ式逆転機へと改造した。動力逆転機のまま残ったC62 8・9・19・23・38・39と平機関区配置車（C62 24・45 - 49）も整備上の問題から逆転機駆動部のカバーを外しただけでなく、上野 - 仙台間を機関車交換なしの通し運用とすることから、炭水車の上部に囲いを設け石炭搭載量を増す改造が尾久・平機関区配置車に実施された[注 12][20]。特急「はつかり」は、運転開始からわずか2年後の1960年（昭和35年）12月10日に新開発のキハ80系気動車へ置き換えられ、一時はC62形による特急仕業が消滅したが、尾久・平の両機関区に引き続きC62形が配置され、「みちのく」・「十和田」といった客車急行牽引の主力機として重用された。

もっとも、1963年（昭和38年）に常磐線の平駅（現・いわき駅）以南の交流電化工事が完成し、尾久機関区配置のC62形による運用はEF80形電気機関車によって置き換えられた[1]。このため、常磐線系統におけるC62形の運用は、以後、平 - 仙台間のみとなった。電化の進展により余剰となった尾久機関区配置の一部（C62 7・8・9・11・19・20）は水戸機関区を経て東北本線の仙台 - 青森間で旅客列車の輸送力を増強、C60形を東北本線から奥羽本線に転属させる検討が行われていた仙台機関区へ転属、同じ目的で小樽築港機関区から42も仙台に転属し、一旦は仙台機関区配置のC60形・C61形運用の一部を置き換える形で平 - 仙台間を中心に活躍を始めて急行「十和田」1往復や「おいらせ」も牽引したが[21]、仙台機関区ではC62形配置後燃料や潤滑油消費の増大が車両管理側から指摘され、また当時の長町 - 盛岡間ではC62形を上回る自重のD62形が運用され、C62形とほぼ同じ軸重のC60形は青森まで運用されていたものの、自重の大きい機関車の入線が増えることによって保線側から軌道への悪影響が懸念されただけでなく[注 13]、既にDD51形ディーゼル機関車の量産が始まっていたこともあり、仙台以北での本格的な運用実現には至らなかった。そのため、仙台機関区に配置されたC62形は一度転属させたC60形を戻すといったことも行われて1964年（昭和39年）に4両（C62 8・19・20・42）を廃車、残りの3両（C62 7・9・11）も1965年（昭和40年）度中に廃車となっている[22]。

その後、1965年（昭和40年）の東北本線盛岡駅電化の際に急行「北斗」の格上げで新設された20系による寝台特急「ゆうづる」（5・6列車）は所要時分短縮のために平坦な常磐線経由で運転されることとなり[注 14]、非電化のままの平 - 仙台間については平機関区配置のC62形がその牽引機に抜擢されることとなった[1]。以後、C62形の全廃までの間にC62形が配置された各線区で寝台特急が新規設定される事例はなかったため、この「ゆうづる」はC62形が牽引する最後の定期特急列車となった。

なお、この「ゆうづる」のヘッドマークは黒岩保美がデザインしたもので、「夕日をバックに飛翔する鶴」を描いたこのマークは「ゆうづる」が最後の蒸気機関車牽引特急となることを念頭に置いて、C62形に装着した際に最も映えるように配慮してデザインしたと後年に黒岩本人が証言している。