ロシアにおける半導体技術の権威、アブラム・ヨッフェの招聘により、1920年からペトログラード物理工科大学に勤務していたレフ・テルミンは、温度や圧力の変化によってガス誘電率がどう変化するかを測定する装置の開発に従事していた[8]。あるとき、測定装置の計器にヘッドホンを接続してみたところ、ガスにかかる圧力や温度変化に応じて、ヘッドホンから聴こえる音の高さが変化した[9]。コンデンサ容量の変化に応じて音高が変化することを発見した彼は、これを楽器に応用することを思いつき、可変コンデンサーにおける電極の片方をアンテナに、もう一方を人間に置き換えてコンデンサー容量を制御する「楽器」を開発した。また、同時にこの技術の電子警報装置への応用も行なった[7]。1920年に完成したこの楽器は、上司ヨッフェを魅了し、同年11月、ペトログラード技術工科大学機械科の学生が主催する夜会で、初めて一般聴衆の前でデモンストレーション演奏を行なった[10]。

1921年10月5日にモスクワで行なわれた、第8回全ロシア電気技術会議において、テルミンの開発した世界初の電子楽器が公式に発表された[10]。独創的なフォルムをもつこの楽器は、全国の電化を推進するロシア電化委員会にとって、プロパガンダ政策に利用できる価値を持つものであり、ソ連共産党機関紙『プラウダ』紙上でも、テルミンの論文と電子楽器のデモンストレーションが紹介された[7]。ソ連政府機関紙『イズベスチヤ』の記者により、この世界初の電子楽器は「Терменвоксチルミンヴォークス」と命名された[11]。なお、テルミン自身はこの発明を「陰極管による音楽装置」と名付けて1921年7月に特許を出願しており、1924年8月にこの名称で登録された[7]。

1922年に、レフ・テルミンは、ソ連の指導者ウラジーミル・レーニンの前でテルミンの演奏を披露した[12]。レーニンは非常に感銘を受けて奏法に興味を示し、最終的にはレフ・テルミンの補助なしでグリンカの歌曲を演奏した[13]。レーニンの発注で600台のテルミンが製造されソビエト連邦各地に販売され、テルミン自身も、ソ連の最新技術と電子音楽の誕生を披露するために世界各地へ派遣された。ヨーロッパ各地で詰め掛けた観衆の前で演奏を披露する公演旅行の後、テルミンはアメリカ合衆国へと向かい、1928年に特許を取得し、大手電機会社RCAにテルミンの製造販売権を売った。

RCAが製造した「RCA Thereminvox」はアメリカを含む世界の聴衆を魅了したが、1929年から始まった世界恐慌の影響もあり商業的には成功せず、数百台しか販売されなかった。この時期のテルミン奏者としては、クララ・ロックモア（Clara Rockmore）が知られる。彼女は全米で公演し、しばしばポール・ロブスンとも共演した。1938年にはテルミン博士はアメリカを去りソ連に戻ったが、この理由については望郷説と誘拐説があり今も不明である。以後テルミンは強制労働に従事したり軍事研究に従事したりと数奇な人生を送り、ペレストロイカ後にようやくアメリカを再訪しクララ・ロックモアらとも再会している。

第二次世界大戦後にはテルミンは次第に忘れ去られた。1960年代以降はモーグ・シンセサイザーなど新たな電子楽器の登場もあってテルミンの忘却に拍車をかけた。その一方で、アルフレッド・ヒッチコック監督の1945年のサイコスリラー『白い恐怖』、ロバート・ワイズ監督の1951年のSF映画『地球の静止する日』など、恐怖映画やSF映画の音楽に不安定なテルミンが起用されている。ソ連では1935年のSF映画『機械人間 感覚の喪失（ロシア語版）』でロボットを操縦するギミックとしてテルミンは登場している。また後述するようにレッド・ツェッペリンによる使用などで、効果音を出す装置としてテルミンは使われ続けた。

1990年代以降、テルミンは再び見直されモーグによりテルミン製造が再開された。テルミン博士の生涯を描いたドキュメンタリー映画の公開、プロやアマチュアによる演奏の機会の増加、様々な形態のテルミンの製造販売などテルミンは静かに広まり続けている。日本でも人気があり、日本人奏者による独自の進化を遂げてきた[14]。
テルミンを使った音楽ロシアのテルミン奏者リディア・カヴィーナ。