18世紀には、すでに「北槎聞略」という書物があり、「大黒屋光太夫」の口述による、キリル文字、一部のロシア語の単語、文などの記載も見られる[4]。本格的なロシア語研究が始まるのは、1804年から1811年にロシア使節からもたらされた公文書の翻訳が必要となった江戸幕府の命により、蘭語通詞の馬場貞由（左十郎）らがゴローニン事件によって松前藩に幽閉されていたゴローニンから学んだのが最初[5]。

1868年に成立した明治政府は文明開化政策の規範を欧米諸国に取り、イギリス・ドイツ・フランス・アメリカなどから多くの技術や思想を導入した。西欧よりも産業発展が遅れていたロシアはその対象から外れたため、通常の学校教育での採用では英語・ドイツ語・フランス語に次ぐものとして扱われた。その中で東京外国語学校では1873年の第一次創設から魯（露）語学科が設置され[注 1]、東京商業学校への統合を経て1899年に再設置されると二葉亭四迷が露語学科の教授として就任して、同校はロシア語やロシア文学の研究拠点となっていった。また、開港地としてロシア領事館が置かれた函館などから布教が広がった日本ハリストス正教会もキリスト教（正教会）の聖職者育成とともにロシア語教育が重視された。ゴローニンの『日本幽囚記』で日本に興味を持ったニコライ（イヴァン・カサートキン）が日本大主教としてロシアから派遣後の1891年に建設された東京復活大聖堂（ニコライ堂）に設けられた正教神学校では昇曙夢が活躍して、自身を含んだロシア文学研究者の育成に貢献した。

一方、南下政策をとるロシア帝国は大日本帝国にとって仮想敵国の筆頭にあり、実際に1904年からは日露戦争が勃発、1905年からは樺太の北緯50度線で陸上国境で接するようになったため[注 2]、日本軍にとってロシア語を習得する必要は一貫して高く、陸軍の教育機関である陸軍幼年学校や陸軍大学校、海軍の海軍大学校ではロシア語が科目に含まれた。陸軍の東郷正延や海軍の井桁貞敏らは第二次大戦後のロシア語教育でも大きな役割を担った。

1920年には早稲田大学文学部に露文学科が設置され[6][注 3]、1921年設立の大阪外国語学校[注 4]や1925年設立の天理外国語学校[注 5]でも当初からロシア語の学科が置かれた[7]。1917年にロシア革命が始まり、ソビエト連邦が成立、日本とは新たな緊張関係が生まれた。ソ連の国家イデオロギーである社会主義や共産主義は天皇制を奉じる日本では危険思想とみなされ、その事実上の公用語であるロシア語学習者は「アカ」などの蔑称で呼ばれることが多く、1937年には早稲田大学の露文学科が閉鎖された[6]。また正教会はロシア本国ではソ連政府による弾圧、日本ではソ連（ロシア）への利敵者とみなされる偏見という二重の苦境に立ち、その影響力とともにロシア語教育への余力も減退した。一方、日本が勢力を伸ばした満州では実務面でもロシア語教育の必要性が高く、1920年にハルピン市に設置された日露協会学校は後にハルピン学院となり、1940年からは満州国立大学となったが、1945年8月のソ連対日参戦とそれに続く第二次世界大戦での日本の敗北で消滅した。赤軍（ソビエト連邦軍）に降伏した日本軍の将兵はシベリア抑留の対象となってソ連国内[注 6]の収容所に連行されて、赤軍が進駐した満州や朝鮮半島北部、ソ連が日本からの領土編入を宣言したサハリン南部（南樺太）や千島列島南部[注 7]ではソ連軍人や一般国民と混住状態になった日本人が日常的にロシア語を使う状況となったが、民間人は一部の残留者を除いて1948年までに日本へ帰国し、シベリア抑留者の送還も1956年に終了して、この状態は短期間で終わった。

1946年に早稲田大学の露文学科は再開され[6]、1949年にはソ連との友好促進を目指す民間団体として（旧）日ソ親善協会が設立されてロシア語教室が開催されるなど、戦後のロシア語教育は東西冷戦の影響も受けながら徐々に拡大された。1956年10月に日ソ共同宣言で両国間の国交回復が決まると同年11月からNHKラジオでロシア語講座が開講され、1957年には同年に日ソ親善協会から改称した日ソ協会系の日ソ学院によってロシア語能力検定試験が開始された。