移民団は当初、扇浦に集住していたが、のちに大村や奥村に分かれて住むようになった。入植後も各国の捕鯨船が頻繁に寄港しており[4]、移民団は島で栽培したトウモロコシやタマネギなどの野菜類や、アヒルやブタなどの家畜をそれらの船に売り、物資や手紙のやりとりをした[1]。

1840年、陸奥国気仙郡小友浦（現：岩手県陸前高田市小友町）の中吉丸が鹿島灘で遭難し、父島に漂着した。船頭の三之丞以下中吉丸漂流民6名は、入植者たちの助けを借りつつ船を修理し、2箇月後に父島を出帆して下総国銚子湊（現：千葉県銚子市）に帰還した。中吉丸漂流民たちは幕府に対し、当時の島民たちの暮らしや言語について報告している[1]。

その後、英米人入植者のあいだで対立が起き、1839年頃には、マザロがアメリカ人ナサニエル・セボリーの暗殺計画を企てるまでに関係は悪化した[1]。しかしマザロには人望がなく、1842年にハワイへ去り、もう1人のイギリス人リチャード・ミリチャンプもグアムへ去ると、セボリーが事実上の首長的地位についた[1][4]。

1849年8月、父島は海賊の襲撃を受けた。女性数人が拉致された上、家畜や食糧、医薬品など2000ドル相当の物品が掠奪された[1]。

1851年4月イギリス軍艦エンタープライズ号が父島寄港した。艦長の航海記によると、セボリーらの生存を確認し、入植後20数名の子どもが生まれ半数は死に、また成長後島を出て行った者もいると記されている。また島内の（現ハワイの）オアフ島出身者の土地に捕鯨船から脱出した船員たちが身を隠していた様子や、船が寄港した際病気のため下船しそのまま島に住み着いたものの存在も明らかにしている[8]。

1853年6月、マシュー・ペリーが父島に寄港した際、調査隊が同行していた。2班の調査隊のうち最初のグループがロイド港（二見港）から上陸すると、カナカ人が島の数カ所に点住していた[3]。山稜を越えて島の南に降りていくと、マルケサス諸島のヌクヒバ島出身者の居住者と遭遇し、さらに進むとオタハイト島出身の黄褐色肌の住人がおり、彼は英語を少し話した[9]。別の調査班は航海日誌で、島で最年長のセボリーやカナカ人らがおり、39人の島民が住んでいると記している[10]。

これらから小笠原諸島には欧米系白人のみが住み着いていたわけではなく、当時カナカ人と呼ばれたハワイ出身者や南太平洋ポリネシアからの住人も多く住んでいたことが窺える。
日本の開拓通告と八丈島島民の入植20世紀初頭の欧米系島民20世紀前半の欧米系島民

1861年12月17日（文久元年11月16日）、幕府は列国公使に小笠原の開拓を通告した。1862年1月（文久元年12月）、外国奉行水野忠徳の一行が咸臨丸で小笠原に派遣された。

水野は小笠原に赴く前に、駐日イギリス公使やアメリカ合衆国公使に接触をしている。イギリス公使オールコックは、ロシア軍艦対馬占領事件でロシアの日本への影響を阻止しその後のロシアの動向を窺い、東禅寺事件では幕府と問題を抱えていたため、通告に対して日本との貿易の伸長のみを主張し、小笠原領土に対する野心がない態度をとる[1]。一方アメリカは公使館員A. L. C. ポートマンの名でナサニエル・セボリー宛に、水野が来島する旨をセボリーに伝える1861年12月21日付の書簡を、水野一行に託している[1]。アメリカ公使ハリスは開拓通告に対しては、2日後幕府へ回答書で「本国政府へ報告し回答を待つ。ただし、小笠原島在住アメリカ人の既得権の保護を要請する」と記している[1]。

日本の記録では文久元年12月19日（記録が正しければ1862年1月18日）咸臨丸は二見湾に投錨し、セボリーにポートマンの書簡が手渡される。翌日、一行とセボリーらは会談を行っている。過去のイギリス人ビーチーの占領宣言が話題に上がったりしたが、セボリーも島での生活や将来を憂いていたため、通達を受け入れた。その後日本人らが島内の木々の伐採や野獣の所在を決め、セボリーらも自らの生活に必要な分は自由に採るなどルールを決めている[1]。