1849年8月、父島は海賊の襲撃を受けた。女性数人が拉致された上、家畜や食糧、医薬品など2000ドル相当の物品が掠奪された[1]。

1851年4月イギリス軍艦エンタープライズ号が父島寄港した。艦長の航海記によると、セボリーらの生存を確認し、入植後20数名の子どもが生まれ半数は死に、また成長後島を出て行った者もいると記されている。また島内の（現ハワイの）オアフ島出身者の土地に捕鯨船から脱出した船員たちが身を隠していた様子や、船が寄港した際病気のため下船しそのまま島に住み着いたものの存在も明らかにしている[8]。

1853年6月、マシュー・ペリーが父島に寄港した際、調査隊が同行していた。2班の調査隊のうち最初のグループがロイド港（二見港）から上陸すると、カナカ人が島の数カ所に点住していた[3]。山稜を越えて島の南に降りていくと、マルケサス諸島のヌクヒバ島出身者の居住者と遭遇し、さらに進むとオタハイト島出身の黄褐色肌の住人がおり、彼は英語を少し話した[9]。別の調査班は航海日誌で、島で最年長のセボリーやカナカ人らがおり、39人の島民が住んでいると記している[10]。

これらから小笠原諸島には欧米系白人のみが住み着いていたわけではなく、当時カナカ人と呼ばれたハワイ出身者や南太平洋ポリネシアからの住人も多く住んでいたことが窺える。
日本の開拓通告と八丈島島民の入植20世紀初頭の欧米系島民20世紀前半の欧米系島民

1861年12月17日（文久元年11月16日）、幕府は列国公使に小笠原の開拓を通告した。1862年1月（文久元年12月）、外国奉行水野忠徳の一行が咸臨丸で小笠原に派遣された。

水野は小笠原に赴く前に、駐日イギリス公使やアメリカ合衆国公使に接触をしている。イギリス公使オールコックは、ロシア軍艦対馬占領事件でロシアの日本への影響を阻止しその後のロシアの動向を窺い、東禅寺事件では幕府と問題を抱えていたため、通告に対して日本との貿易の伸長のみを主張し、小笠原領土に対する野心がない態度をとる[1]。一方アメリカは公使館員A. L. C. ポートマンの名でナサニエル・セボリー宛に、水野が来島する旨をセボリーに伝える1861年12月21日付の書簡を、水野一行に託している[1]。アメリカ公使ハリスは開拓通告に対しては、2日後幕府へ回答書で「本国政府へ報告し回答を待つ。ただし、小笠原島在住アメリカ人の既得権の保護を要請する」と記している[1]。

日本の記録では文久元年12月19日（記録が正しければ1862年1月18日）咸臨丸は二見湾に投錨し、セボリーにポートマンの書簡が手渡される。翌日、一行とセボリーらは会談を行っている。過去のイギリス人ビーチーの占領宣言が話題に上がったりしたが、セボリーも島での生活や将来を憂いていたため、通達を受け入れた。その後日本人らが島内の木々の伐採や野獣の所在を決め、セボリーらも自らの生活に必要な分は自由に採るなどルールを決めている[1]。一行は続いて母島にも向い、同様の通達を行っている。

その後八丈島からも入植者が送りこまれ、開拓が始まる。なお生麦事件がこじれイギリスとの一戦が懸念されると、1863年（文久3年）日本人全員に避難命令が出された。
明治時代1930年頃の欧米系島民

1875年12月21日（明治8年）明治丸が父島へ向かった。その時セボリーの息子ホーレス・セボリーやフランス人ルイ・ルサールを含む13戸68人（男性36人、女性32人）および日本人女性2名が父島で確認されている[1]。翌1876年（明治9年）小笠原島を内務省所轄とし、日本の統治を各国に通告した[4]。1882年（明治15年）に居住していた20戸72人全員が、帰化し日本人となる。
戦後詳細は「アメリカ施政権下の小笠原諸島」を参照

第二次世界大戦中の1944年（昭和19年）7月、戦火が間近に迫っていることから小笠原諸島の全住民は、欧米系島民も含め本土へ疎開した。

戦後、1946年（昭和21年）に欧米系島民のみが帰島を許されたが、サンフランシスコ講和条約によって小笠原諸島は日本の施政権から切り離された。アメリカ統治時代は英語が公用語とされ、義務教育課程校のラドフォード提督初等学校 (Admiral Radford Elementary School) で英語による教育を受けた[注釈 1]。