18世紀の医師フランツ・アントン・メスメルは動物磁気療法を考案した。メスメルは人間や動物の体を動かす磁気力「動物磁気」(animal magnetism) があると考え[59]、動物磁気は磁気を帯びた流体であり、電気や引力のような物理的な力であるとした[60]（動物磁気説）。メスメルは動物磁気の不均衡によって病気になると考え、これを操作して病気を治療しようと試みた[59]（治療方法はフランツ・アントン・メスメル#治療の手順を参照）。動物磁気療法はメスメリズムと呼ばれるようになったが、これは19世紀のイギリスの医師、ジェイムズ・ブレイドの造語だとされる。メスメリズムの治療から発展した科学的技術をヒプノシス（催眠）という。

現代の催眠に携わる人の間では「催眠は魔術的なものではなく科学であるから、催眠術ではなく催眠・催眠法という表現を使うべき」という主張もある[61]。
メスメル以後の催眠研究の歴史

イギリスの医師ジェイムズ・ブレイド（James Braid, 1795-1860）は、メスメル以後の治療を技法（言葉、パスという身振り、接触）と道具立て（バケツ、奇抜な衣装、暗い部屋、音楽、熱狂）、治癒対象（麻痺や失神を伴うヒステリー）に分類した。彼は凝視法により、被験者を催眠へ誘導した。これは被験者に一点を見つめるように指示をすることで、術者の声へ集中させ、術者の暗示を受け入れやすくする方法である。つまり、動物磁気を使わずに催眠状態が生じることを実証したのである。また、視覚障碍者にも凝視法の暗示を用いて催眠へ誘導し、これにより催眠が心理現象であることを示した[62]　彼は、暗示により神経系の眠りを引き起こすと考え、1843年に催眠（ヒプノシスまたはピプノチズム）と名付けた[63]。

精神医学者のジャン＝マルタン・シャルコー（J. M. Charcot, 1825-1893, フランス）は、ブレイドの研究を読んで、催眠に関心を持った。19世紀後半は、ヒステリー（英：hysteria）が医学的に最大の関心事であったためである。ヒステリーは、ラテン語のヒュステラ（huster?、子宮）から派生した言葉で、当時は女性だけがなるものと思われており、失神、麻痺、痙攣、拒食など重い症状を示すものだった。シャルコーは、1861年からパリにあるサルペトリエール病院の院長を務めた。彼は患者を見つめることでヒステリーを生じさせ、それを消した。症状の発生と消滅という医学的成果を成し遂げたのである。シャルコーは病院の講堂で実演を公開したが、発表会には流行病の治療法を見るために、医者だけでなく、貴族や新聞記者、小説家たちも駆けつけた。研究発表なので、シャルコーはシルクハットに燕尾服という正装をして現れた。会場に連れてこられた患者をシャルコーが見つめると、患者はヒステリーを起こした。ここからシャルコーは、ヒステリーが暗示によって引き起こされるのではなく、人間の生理学的構造そのものに由来する[64]と考えた。

サルペトリエール病院は女性の精神障害、政治犯、犯罪者、売春婦を収容する病院で、患者数4000人に医師は10人で、治癒率は10％以下だった。病院という名の収容所であった。現在の視点から言えば、患者は突然、みすぼらしい姿のまま病院の講堂に連れてこられて、立派な服装をした大勢の人の前に立たされ、会ったこともない病院長に見つめられたのである。患者はパニックを起こしたと考えられる[65]。彼の姿やしぐさは、後に吸血鬼ドラキュラや「邪眼（evil eye）」による隷属をテーマにした小説に影響を与えた。

アンブロワーズ＝オーギュスト・リエボー（Ambroise-Auguste Liebeault, 1823-1904）は、フランスのナンシー地方の開業医であった。彼は、男性も女性も、若者も高齢者も、農民にも貴族にもヒステリーなどの催眠治療を行わなければならず、数千人を治療した。そこから催眠は言語暗示だけでかかり、催眠中の動作や記憶の再生は、すべて患者本人が行っていることを示した。催眠はヒステリー以外の心の病にも有効であることを示した。ナンシー学派と言われている。現代の催眠研究の基本的立場である。

1880年ごろ、ウイーンの医師ヨーゼフ・ブロイアー（Josef Breuer,1842-1925、オーストリア）は、催眠は症状の消滅だけでなく、年齢退行によって症状の原因を探ることができることを示した。

精神分析のジークムント・フロイト（Sigmund. Freud, 1856-1939、オーストリア）は、シャルコーのもとで催眠を学び、ナンシーで催眠による一般人向け治療技法を学んだ。その後、ブロイアーと症状の原因を探る共同研究をした。彼は、後催眠暗示を見て無意識という概念を編み出した。年齢退行からは、退行という概念を作った。また、原因となる記憶を思い出せば、症状がなくなる現象をカタルシス（浄化）と名付けた。さらに、催眠状態に誘導しても症状の原因を思い出すことが難しい例があることから抑圧という概念を生み出した。そのような患者に対しては、ナンシー学派のベルネイム, H. を参考にして、覚醒状態で患者の心に浮かんだことを自由に述べさせた。これを自由連想法と名づけた。その後、催眠を用いて記憶を解放する方法を止め、覚醒状態で分析をする精神分析を打ち立てた。

第1次、第2次世界大戦は、無感動、衝動的攻撃行動、麻痺、健忘など戦争神経症(war neurosis)の兵士を大量に生み出した。催眠療法が兵士の症状除去、記憶回復に使われ、短期的には症状除去できたと言われている。これが第二次世界大戦後の催眠研究の隆盛に影響を与えることになった。この時期、ベルリン大学のヨハネス・ハインリヒ・シュルツ（J.H. Schultz）は、自己暗示を組織化した自律訓練法を提唱した（1932）。リラクゼーション法として現在でも使われている。森田正馬（もりた・まさたか, 1874?1938）も当初、催眠暗示療法を試みたが、その効果に疑問を抱き、神経症、不安障害を対象とする森田療法を創始した（1919年）。
第二次世界大戦後の日本の催眠研究

1946年、アメリカ教育使節団の一員としてスタンフォード大学心理学部長のアーネスト・ヒルガード（Ernest R. Hilgard, 1904-2001）が来日し、催眠とプログラム学習を紹介した。アメリカ教育使節団は、社会科の創設、男女共学、6・3・3制、PTAの導入など戦後教育に大きな影響を与えている。