電気軌道では、路面電車系統では1895年（明治28年）に京都市で京都電気鉄道が開通しているが、一般の鉄道では甲武鉄道（現在のJR中央本線）が1904年（明治37年）に飯田町 - 中野間を電化したのが始まりである。当時の電化には、600 V（京都電気鉄道などのように500 Vの所も一部存在）の直流饋電が採用されていた[1]（というより用いないといけなかった[注釈 17]）。甲武鉄道は1906年（明治39年）の鉄道国有法によって国有化され、国営鉄道初の電化区間となった。以降、大正期は山手線等東京都市圏での通勤電車走行を目的に実施され、昭和初期には城東線（現・大阪環状線）等大阪都市圏でも実施された。
一方私鉄では蒸気機関車運行だった南海鉄道（後の南海電気鉄道）が1907年（明治40）年から電化を始め、1911年（明治44年）には60 ㎞以上の区間の電化を完成させるなど国営鉄道より長大な電化区間が誕生し、この時期国営鉄道にもなかった総括制御付きのボギー車（電2形、1909年）や、貫通扉や便所のある電車（電3・電附1形、1911年）導入など、この当時は私鉄の方が電化に関しては先進的な面が強かった[28]。
最も国営鉄道側も手をこまねいていた訳ではなく、1912（明治45）年に煤煙問題に悩まされていた碓氷峠を電化し、初の電気機関車の導入、1914年（大正3）年には、京浜線（現・京浜東北線）の電車運転開始に際し輸送量増加に伴う電圧降下防止に昇圧されることになり、当時の技術等を考慮した結果、それまでの600 Vから1,200 V（丁度2倍の電圧なので電動機の直列並列を切替えれば従来の600 V区間との直通もできた）が使用され、その後技術向上もあってさらに電圧を上げられるようになり、1922年（大正11年）に出された東海道本線の全線1,500 V電化の計画[注釈 18]に先立って試験を行い、その結果を私鉄にも公開したところ、同年の大阪鉄道が私鉄で初めて1,500 V直流電源を採用（河内長野 - 布忍間）し、東海道線電化以後開業の私鉄は基本的に1,500 Vを採用するようになり、国営鉄道側も京浜線・中央線・山手線を1931年（昭和6年）までに1,500 Vに昇圧した[29]。
この間、1927年(昭和2年)9月26日の東京朝日新聞「近く電化調査員会を設け電化区間の順位決定」という記事によれば、以下の区間が電化候補になったと報じられている。(路線名は出典ママ)
中央線 - 甲府 - 下諏訪
上越線 - 長岡 - 高崎
篠ノ井線 - 松本 - 多治見
宮地線 - 肥後大津 - 玉来
北陸線 - 柳ヶ瀬 - 今庄
高山線 - 高山 - 富山・岐阜 - 高山
山陰線 - 豊岡 - 鳥取
鹿児島線 - 人吉 - 吉松
越美線 - 福井 - 美濃太田
東北線 - 郡山 - 福島・福島 - 白石
津山線 - 姫路 - 津山
因美線 - 鳥取 - 津山
奥羽線 - 米沢 - 福島
東海道線 - 山北 - 沼津
その後、北陸線米原 - 今庄、奥羽線福島 - 米沢、山陰線鳥取 - 豊岡、東海道山陽線大津 - 明石間電化が昭和4年度予算に必要経費が計上されたが、浜口雄幸内閣による緊縮財政により各線電化が中止に追込まれてしまった[30]。
時系列的に少し戻るが、昇圧のきっかけとなった東海道本線電化計画は試験機関車が来る前[注釈 19]から丹那トンネル開通まで見越して（実際の開通は1934年〈昭和9年〉）東京から国府津まで1,500 Vで直流電化（1925年〈大正14年〉）したが、その後は東海道線電化は一時考えないで大阪付近の輸送量が多い地域の電化や清水トンネル・仙山線といった長大トンネル付近の電化を優先的に行い、手間取っていた丹那トンネルの工事完了後は再び東海道線電化も考えられたが、1937年（昭和12年）に日中戦争が勃発、その先行きも不透明な中1941年（昭和16年）に対米開戦と、日本は戦争へと突き進み、電化工事は戦後まで持ち越されている[31]。（これら以外では関門トンネル(1941年（昭和16年）)、外地の朝鮮総督府鉄道京元本線の福渓 - 高山間（1944年（昭和19年）なども電化）
こうした限られた部位のみの電化は当時の軍部が国営鉄道を建設・運営する鉄道院・鉄道省に対し、戦時に変電所を攻撃されると運転不能になることを理由に、基本的には非電化とすることを主張していたといわれているが[注釈 20]、国鉄の技師であった朝倉希一によると電化遅れについては軍隊の話は一切出ず「イギリスから輸入した電気機関車のトラブルとそれに伴う高コストが電化を遅らせた」としている[注釈 12]
なお、一から路線を作る予定だった「弾丸列車計画」（後に東海道新幹線として帰結する）でも東京 - 静岡・名古屋 - 姫路の2か所のみを直流3,000 Vで電化し、ここ以外は当面非電化による蒸気機関車牽引予定で[32]、そのために大型の蒸気機関車の設計がいくつか行われていた[33]。
この時期は私鉄でも電化工事が進み、1927年には小田原急行鉄道で82km、そして1929年・1930年には関東の東武鉄道と関西の参宮急行電鉄で立て続けに、130 kmを超す当時としては異例の長距離電車が運行され[注釈 21]、目黒蒲田電鉄・宮城電気鉄道・富山電気鉄道など当初より電気軌道の利便性を兼ね備えた電気鉄道の開業が相次いだ。（外地も含めると金剛山電気鉄道の鉄原 - 内金剛なども長大電化区間になる）
こうした大手の私鉄と異なり中小私鉄では戦前は電化ではなく内燃動車で効率を上げたところも多かったが、太平洋戦争の影響でガソリン等は配給制（闇市場でも高騰）になったため内燃動車に頼れなくなり、蒸気機関車が復帰を始めるも、戦争末期から石炭も品質が低下し数量確保さえ困難な時代[注釈 22]に成ったため、石炭産地の北海道と九州以外の非電化私鉄は燃料の確保に支障をきたすようになった。
これに反し電気事業の進歩は著しく発電力は戦前以上に進んだため、中小私鉄でさえ多少の投資をしてでも電化した方が採算が合うと電化に踏み切ったところが多かった。
（特に昭和21年から26年（1946 - 1951年）は電化件数が多く、1946年1月の近江鉄道八日市線から、1951年12月の長岡鉄道（後の越後交通長岡線）の大半まで、（既存電化区間有無に関わらず）一部分の電化や軌道・貨物線も含めると24社[注釈 23]もあり、大半は十数km程度の電化だったが、大井川鉄道39.5 km、長岡鉄道31.6km（翌年残り2.0 kmも電化）と30 km以上も一度に電化している鉄道も存在している[注釈 24]。）
しかし、その後はドッジ・ラインによる金融引締めが始まり電化工事の資金繰りが困難になった事、さらに燃料事情が好転、石油類の安定供給並びに気動車の普及に伴い、非電化路線の電化事例は1954年（昭和29年）の三岐鉄道を最後に、約20社程度に留まった[注釈 25][注釈 26]。
国鉄でも組織内部のみならず参画院方面からも鉄道電化が要望されることとなり、十河信二が国鉄総裁の時、3,000 kmの順次電化計画のため電化委員会が設けられ、蒸気運転の状態において電気と蒸気の経済比較の結果、直流1,500 Vでも十分電化運転が有利で、交流なら（地上設備を減らせるので）なお 有利となった[注釈 27]、1950年代以降、多くの路線が電化されていき、東海道本線については1956年（昭和31年）11月19日、米原 - 京都間を最後に、支線を除く全線電化が完了した。これを記念し、1964年（昭和39年）に鉄道電化協会がこの日（11月19日）を「鉄道電化の日」に制定した（→日本の鉄道史・1956年11月19日国鉄ダイヤ改正も参照）。