1868年に成立した明治政府は文明開化政策の規範を欧米諸国に取り、イギリス・ドイツ・フランス・アメリカなどから多くの技術や思想を導入した。西欧よりも産業発展が遅れていたロシアはその対象から外れたため、通常の学校教育での採用では英語・ドイツ語・フランス語に次ぐものとして扱われた。その中で東京外国語学校では1873年の第一次創設から魯（露）語学科が設置され[注 1]、東京商業学校への統合を経て1899年に再設置されると二葉亭四迷が露語学科の教授として就任して、同校はロシア語やロシア文学の研究拠点となっていった。また、開港地としてロシア領事館が置かれた函館などから布教が広がった日本ハリストス正教会もキリスト教（正教会）の聖職者育成とともにロシア語教育が重視された。ゴローニンの『日本幽囚記』で日本に興味を持ったニコライ（イヴァン・カサートキン）が日本大主教としてロシアから派遣後の1891年に建設された東京復活大聖堂（ニコライ堂）に設けられた正教神学校では昇曙夢が活躍して、自身を含んだロシア文学研究者の育成に貢献した。

一方、南下政策をとるロシア帝国は大日本帝国にとって仮想敵国の筆頭にあり、実際に1904年からは日露戦争が勃発、1905年からは樺太の北緯50度線で陸上国境で接するようになったため[注 2]、日本軍にとってロシア語を習得する必要は一貫して高く、陸軍の教育機関である陸軍幼年学校や陸軍大学校、海軍の海軍大学校ではロシア語が科目に含まれた。陸軍の東郷正延や海軍の井桁貞敏らは第二次大戦後のロシア語教育でも大きな役割を担った。

1920年には早稲田大学文学部に露文学科が設置され[6][注 3]、1921年設立の大阪外国語学校[注 4]や1925年設立の天理外国語学校[注 5]でも当初からロシア語の学科が置かれた[7]。1917年にロシア革命が始まり、ソビエト連邦が成立、日本とは新たな緊張関係が生まれた。ソ連の国家イデオロギーである社会主義や共産主義は天皇制を奉じる日本では危険思想とみなされ、その事実上の公用語であるロシア語学習者は「アカ」などの蔑称で呼ばれることが多く、1937年には早稲田大学の露文学科が閉鎖された[6]。また正教会はロシア本国ではソ連政府による弾圧、日本ではソ連（ロシア）への利敵者とみなされる偏見という二重の苦境に立ち、その影響力とともにロシア語教育への余力も減退した。一方、日本が勢力を伸ばした満州では実務面でもロシア語教育の必要性が高く、1920年にハルピン市に設置された日露協会学校は後にハルピン学院となり、1940年からは満州国立大学となったが、1945年8月のソ連対日参戦とそれに続く第二次世界大戦での日本の敗北で消滅した。赤軍（ソビエト連邦軍）に降伏した日本軍の将兵はシベリア抑留の対象となってソ連国内[注 6]の収容所に連行されて、赤軍が進駐した満州や朝鮮半島北部、ソ連が日本からの領土編入を宣言したサハリン南部（南樺太）や千島列島南部[注 7]ではソ連軍人や一般国民と混住状態になった日本人が日常的にロシア語を使う状況となったが、民間人は一部の残留者を除いて1948年までに日本へ帰国し、シベリア抑留者の送還も1956年に終了して、この状態は短期間で終わった。

1946年に早稲田大学の露文学科は再開され[6]、1949年にはソ連との友好促進を目指す民間団体として（旧）日ソ親善協会が設立されてロシア語教室が開催されるなど、戦後のロシア語教育は東西冷戦の影響も受けながら徐々に拡大された。1956年10月に日ソ共同宣言で両国間の国交回復が決まると同年11月からNHKラジオでロシア語講座が開講され、1957年には同年に日ソ親善協会から改称した日ソ協会系の日ソ学院によってロシア語能力検定試験が開始された。同年はスプートニク1号による史上初の宇宙飛行も行われ（スプートニク・ショック）、ソ連の高い自然科学力を背景にした理工系教員からの要望を受けて1962年には東京大学の教養学部に在籍する1年生と2年生の一部を対象にロシア語が第二外国語に加えられ[8]、ソ連政府からの独立性を維持した正教会系のニコライ学院を含め、高等・専門教育ではロシア語教育の機会が増えていった。

1960年代までは上記のようにロシア語の研究論文を読む必要がある自然科学系の研究者、共産主義を支持する人々を中心にロシア文化への関心は比較的高かった。しかしながら、レオニード・ブレジネフ体制下でのソ連文化の硬直化や科学技術の停滞、中ソ対立などにも影響された日本共産党や日本社会党などの日本の左派（革新）政党とソ連共産党の関係の混乱などを背景にソ連（ロシア）への関心は低下した。1985年にソ連で始まったペレストロイカによって経済交流や文化的関心は高まり、ロシア語学習者も一時的に増加したが、1991年のソ連崩壊前後の経済混乱はその熱を冷まし、1996年には19世紀からの伝統を持つニコライ学院が閉校に追い込まれた[9]。

その後は日ソ学院が改称してロシア語能力検定試験の主催を続ける東京ロシア語学院や、こちらも改称しながら同学院との友好関係を維持する日本ユーラシア協会の独自講座、ロシア連邦教育科学省の認定試験として日本対外文化協会が窓口となって行われているロシア語検定試験(ТРКИ)、各大学で続けられるロシア語・ロシア文学関係の講座、それにNHKの語学番組改革の中で2017年からEテレで始まった「ロシアゴスキー」やラジオ第2放送の「まいにちロシア語」の放送などで日本におけるロシア語教育が継続されている。しかしながら、放送大学におけるロシア語講座開設が2007年度限りで終了するなど、その退潮傾向は続いている。ただ、伝統的にロシアが強国であるフィギュアスケートでは浅田真央や羽生結弦などの日本選手もロシア人指導者のコーチを受けてきた事もあり、ここからロシア語への関心を持つ例も見られる。あるいは後述するアニメ・漫画などのサブカルチャー分野の人気作品内でロシア語が使用される例もあり、2020年4月に京都外国語大学がロシア語学科を新設するなど、一定の状況変化も見られる。

ロシアとの交流は北海道や日本海側の一部の地域を除くと盛んではなく、貿易額で示される経済的なつながりもロシアと同様の近隣諸国である中国や韓国、あるいは多くの面で緊密な関係を維持しているアメリカ合衆国より薄い。そのため、日本（特に西日本）においてロシア語の重要性は低い。英語や中国語、朝鮮語に比べて語学教材も恵まれておらず、改訂も進まない結果、内容がソ連時代のままである教材も少なくない。

しかし、上記のように第二次世界大戦後も日本とソ連は軍事的対立が続き、冷戦終結とソ連崩壊後も日ロ間では領土問題などでの対立が残ったほか、漁船操業や国際協力などでの実務的必要もある。したがって海上保安庁では第二外国語として中国語・朝鮮語と並びロシア語が学ばれており、自衛隊でも第二外国語として学ばれているほか、北海道の一部の高校では地理的に近いということもありロシア語の授業が行われている。さらに稚内や根室、紋別や新千歳空港ではロシア語表記の看板が見られるなど、隣国としてのロシアの姿が実感できる。同様に、新潟東港を通じての対ロ貿易の日本海側拠点である新潟市でも日本語の他英語とロシア語を併記した看板を見ることができる。新潟市ではこれ以外にもロシア語スピーチコンテストを行うなどしている。同じく対露貿易の多い富山県伏木富山港周辺でもロシア語表記の看板が見られ、新潟県や富山県でもロシア語の授業を開講する高校がある。また、2010年代に入り「ガールズ&パンツァー」「ゴールデンカムイ」[注 8]などロシア語の台詞が多い漫画・アニメーションの人気作品が制作され、ここからロシア語に興味を持った人が若者が生まれたという指摘もある。