紀元前539年のオピスの戦いで、アケメネス朝ペルシアによって新バビロニア王国が滅亡すると、捕囚のユダヤ人はキュロス2世によって解放されてエルサレムに帰還し、ペルシア帝国の支配下で統一イスラエルの領域で自治国エフド・メディナタ（英語版）として復興された。一方でバビロンに留まった捕囚民のコミュニティはペルシャの直接統治の元で繁栄し、重要な地位に昇るものもいたとされる。

ユダヤ教の教義も、このころにほぼ確立された。アケメネス朝の滅亡後、古代マケドニア王国、セレウコス朝シリアなどに宗主国が引き継がれ、最終的にはローマ帝国領のユダヤ属州とされる。このころにはヘブライ語はすでに古典語となり、日常語としては系統の近いアラム語にほぼ取って代わり、のちに国際語としてギリシャ語も浸透した。

また、ヘレニズム諸国の各地に商人などとして移住したユダヤ人移民（ディアスポラ）の活動も、このころに始まる。ローマ支配下の紀元20年代ごろ、ユダヤ属州北部ナザレの民から出たイエス・キリスト（ナザレのイエス）が活動したと伝えられる。

紀元66年からローマ帝国に対し反乱を起こすが（ユダヤ戦争）、鎮圧されてユダヤ人による自治は完全に廃止され、厳しい民族的弾圧を受けた。132年、バル・コクバの乱が起こったが鎮圧され、ユダヤ人の自称である「イスラエル」という名や、ユダヤ属州という地名も廃され、かつて古代イスラエル人の敵であったペリシテ人に由来するパレスチナという地名があえて復活された。以来ユダヤ人は2000年近く統一した民族集団を持たず、多くの人民がヨーロッパを中心に世界各国へ移住して離散した（ユダヤ人離散（英語版））。

以降、ユダヤ教徒として宗教的結束を保ちつつ、各地への定着が進む。その後もパレスチナの地に残ったユダヤ人の子孫は、多くは民族としての独自性を失い、のちにはアラブ人の支配下でイスラム教徒として同化し、いわゆる現在のパレスチナ人になったと考えられる。
古代末期から中世詳細は「ヨーロッパのユダヤ人の歴史（英語版）」を参照1100年から1600年にかけてのヨーロッパにおけるユダヤ人の追放による民族移動を示す地図Joseph Felsensteinのソフトウェアによる解析結果に基づく、J2 DNA Kohanimの3000年間の民族移動を示す地図

7世紀 - 10世紀に、カスピ海北部にハザール王国が出現し、ユダヤ教を国教としたが、その後相次いだロシア、ルースィ、ブルガール、オグズとの戦争により王国は滅んでいる。残党のハザール人も、結局はイスラム教に改宗したが、ユダヤ教カライ派の信仰を保っているハザール人の集落が東ヨーロッパにわずかに現存している。

ディアスポラ後の民族移動時代（2世紀 - 7世紀）、ほとんどのユダヤ人は依然として地中海沿岸に住んでいた。697年にウマイヤ朝がサーサーン朝ペルシアとの抗争で疲弊していた東ローマ帝国のカルタゴおよび北アフリカを征服し、711年のグアダレーテ河畔の戦いで西ゴート王国を滅ぼしイベリア半島に進出した。ジュデズモ語を話すセファルディムもイベリア半島に定住し、8世紀から9世紀には北フランスにも定住し、その後ヨーロッパ各地に散ったが、ユダヤ人はユダヤ教の信仰を堅持した。

レコンキスタ・十字軍時代に、ヨーロッパのキリスト教社会では、「キリスト殺し」の罪を背負うとされていたユダヤ人はムスリムとともに常に迫害された。封建制度に内属していなかった彼らはヨーロッパの多くの国で土地所有を禁じられて農業の道を断たれ、商工業ギルドに加入することができなかったため、職工の道も閉ざされ、店舗を構える商売や国際商取引も制限されていた。

しばしば追放処分を受け、住居も安定しないユダヤ人がつける仕事は事実上消費者金融や無店舗の行商、芸能以外には存在しなかった。1066年、イスラム支配下のアンダルスでグラナダ虐殺 (1066年)（英語版）が起こり、多数のベルベル・ユダヤ人（英語版）が犠牲となった。イギリスのユダヤ人はこのころに主にフランスからイングランドに渡った一群が最初とされる（ユダヤ人は王の所有物として農奴や金融を生業として13世紀末までその数を増やしていったが、十字軍精神の高まりにより追放され、一部を除きいったん姿を消し、17世紀半ばに再びフランス、スペイン、ポルトガルから流入し繁栄した）[27]。

11世紀末頃にはすでにユダヤ人は「高利貸し」の代名詞になっていた。被差別民でありながら裕福になったユダヤ人は妬まれ、ユダヤ人迫害はますます強まっていった[28]。

セルジューク朝が西方に領土を拡大し、東ローマ帝国領のアナトリア半島を占領すると、アレクシオス1世コムネノスはローマ教皇ウルバヌス2世に救援を求めた。1095年11月にクレルモン公会議が開催され、翌年に民衆十字軍と第1回十字軍が開始され、エルサレム王国が設立された。これ以後、約200年にわたって、十字軍は7回の遠征を行った。

1150年ごろ、フランクフルトにユダヤ人が居住した記録が残っている[29]。13世紀になってキリスト教徒とユダヤ教徒との交際が禁止されるなど、ユダヤ人は迫害を受けるようになり、社会不安が高まるごとにユダヤ人は迫害の対象とされていき、職の追放なども行われた。神聖ローマ帝国のユダヤ人は、神聖ローマ帝国一般臣民とは区別される存在で、「王庫の従属民」と呼ばれる法的地位を与えられて皇帝の保護を受け、皇帝にユダヤ人税（ドイツ語版）（ユーデンシュトイアー）の納税義務を負っていた。のちのオスマン帝国においてもジズヤ（人頭税）の納税義務を負っていたが、ほぼ同じ制度である。

東方植民時代（12世紀 - 14世紀）にはモンゴルのポーランド侵攻で人口が減少したポーランド王国へ進出し、イディッシュ語を話すアシュケナジムが定住を始めた。1264年のカリシュの法令によって権利および安全をポーランド王およびシュラフタ（ポーランドの貴族共和政を担った階級）の庇護のもとに保障され、1290年にエドワード1世による追放布告（英語版）でイングランドを追放されると、ユダヤ人はポーランドに集まり生活し、ユダヤ人社会「シュテットル」を形成した。

14世紀のペスト大流行（en）のころから弾圧として、ヨーロッパ中で隔離政策が取られるようになっていき、市街地中心から離れた場所に設けられたゲットーと呼ばれる居住区に強制隔離されることが一般化した。