紀元前539年のオピスの戦いで、アケメネス朝ペルシアによって新バビロニア王国が滅亡すると、捕囚のユダヤ人はキュロス2世によって解放されてエルサレムに帰還し、ペルシア帝国の支配下で統一イスラエルの領域で自治国エフド・メディナタ(英語版)として復興された。一方でバビロンに留まった捕囚民のコミュニティはペルシャの直接統治の元で繁栄し、重要な地位に昇るものもいたとされる。
ユダヤ教の教義も、このころにほぼ確立された。アケメネス朝の滅亡後、古代マケドニア王国、セレウコス朝シリアなどに宗主国が引き継がれ、最終的にはローマ帝国領のユダヤ属州とされる。このころにはヘブライ語はすでに古典語となり、日常語としては系統の近いアラム語にほぼ取って代わり、のちに国際語としてギリシャ語も浸透した。
また、ヘレニズム諸国の各地に商人などとして移住したユダヤ人移民(ディアスポラ)の活動も、このころに始まる。ローマ支配下の紀元20年代ごろ、ユダヤ属州北部ナザレの民から出たイエス・キリスト(ナザレのイエス)が活動したと伝えられる。
紀元66年からローマ帝国に対し反乱を起こすが(ユダヤ戦争)、鎮圧されてユダヤ人による自治は完全に廃止され、厳しい民族的弾圧を受けた。132年、バル・コクバの乱が起こったが鎮圧され、ユダヤ人の自称である「イスラエル」という名や、ユダヤ属州という地名も廃され、かつて古代イスラエル人の敵であったペリシテ人に由来するパレスチナという地名があえて復活された。以来ユダヤ人は2000年近く統一した民族集団を持たず、多くの人民がヨーロッパを中心に世界各国へ移住して離散した(ユダヤ人離散(英語版))。
以降、ユダヤ教徒として宗教的結束を保ちつつ、各地への定着が進む。その後もパレスチナの地に残ったユダヤ人の子孫は、多くは民族としての独自性を失い、のちにはアラブ人の支配下でイスラム教徒として同化し、いわゆる現在のパレスチナ人になったと考えられる。
古代末期から中世詳細は「ヨーロッパのユダヤ人の歴史(英語版)」を参照1100年から1600年にかけてのヨーロッパにおけるユダヤ人の追放による民族移動を示す地図Joseph Felsensteinのソフトウェアによる解析結果に基づく、J2 DNA Kohanimの3000年間の民族移動を示す地図
7世紀 - 10世紀に、カスピ海北部にハザール王国が出現し、ユダヤ教を国教としたが、その後相次いだロシア、ルースィ、ブルガール、オグズとの戦争により王国は滅んでいる。残党のハザール人も、結局はイスラム教に改宗したが、ユダヤ教カライ派の信仰を保っているハザール人の集落が東ヨーロッパにわずかに現存している。
ディアスポラ後の民族移動時代(2世紀 - 7世紀)、ほとんどのユダヤ人は依然として地中海沿岸に住んでいた。697年にウマイヤ朝がサーサーン朝ペルシアとの抗争で疲弊していた東ローマ帝国のカルタゴおよび北アフリカを征服し、711年のグアダレーテ河畔の戦いで西ゴート王国を滅ぼしイベリア半島に進出した。ジュデズモ語を話すセファルディムもイベリア半島に定住し、8世紀から9世紀には北フランスにも定住し、その後ヨーロッパ各地に散ったが、ユダヤ人はユダヤ教の信仰を堅持した。
レコンキスタ・十字軍時代に、ヨーロッパのキリスト教社会では、「キリスト殺し」の罪を背負うとされていたユダヤ人はムスリムとともに常に迫害された。封建制度に内属していなかった彼らはヨーロッパの多くの国で土地所有を禁じられて農業の道を断たれ、商工業ギルドに加入することができなかったため、職工の道も閉ざされ、店舗を構える商売や国際商取引も制限されていた。
しばしば追放処分を受け、住居も安定しないユダヤ人がつける仕事は事実上消費者金融や無店舗の行商、芸能以外には存在しなかった。1066年、イスラム支配下のアンダルスでグラナダ虐殺 (1066年)(英語版)が起こり、多数のベルベル・ユダヤ人(英語版)が犠牲となった。イギリスのユダヤ人はこのころに主にフランスからイングランドに渡った一群が最初とされる(ユダヤ人は王の所有物として農奴や金融を生業として13世紀末までその数を増やしていったが、十字軍精神の高まりにより追放され、一部を除きいったん姿を消し、17世紀半ばに再びフランス、スペイン、ポルトガルから流入し繁栄した)[27]。