肅慎之國在白民北。有樹名曰雄常。先入伐帝、於此取之。（海外西経）粛慎の国は白民の北にある。雄常という名前の木がある。
晋の郭璞の注によると、粛慎の習慣として、衣服は着ないが、中国で、聖帝が即位すると、雄常の木の皮を剥いで、衣服にするとされている。
大荒之中有山、名曰不咸。有肅慎氏之國。（大荒北経）大荒の中に不咸をいう名の山がある。粛慎氏の国がある。
日本で最初の正史の日本書紀にも粛慎のことが記されている。ただ、日本書紀に出てくる粛慎が、中国の古典に出てくる粛慎と同一のものであるとする確証はない。日本書紀に粛慎が出てくる箇所は大きく分けて、以下のように3ヶ所ある。
欽明天皇の時に佐渡島へ粛慎が来たこと
斉明天皇の時の阿倍比羅夫の粛慎討伐
天武天皇・持統天皇の時の粛慎の来訪と官位を与えたこと
日本書紀に出てくる粛慎についてどのような集団かという説はさまざまあるが、おおむね以下のようにまとめられよう。
蝦夷（えみし）と同じ。粛慎と呼ぶのは中国の古典にも出てくる由緒ある名前であるからとする。
中国の文献に出てくる粛慎と同じ民族であるツングース系の民族。
蝦夷とも中国の文献に出てくる粛慎とも違う民族。（ウィルタ・ニヴフなど）
また北海道のオホーツク海沿岸などに遺跡が見られるオホーツク文化と関連すると考える人もいる。
粛慎についての日本での最も古い報告は、欽明天皇5年（544年）12月のものである。そこでは、佐渡島に粛慎人が来着したと書かれている。
ただ、このことが本当に起きたことかどうかはにわかには信じがたい。後の粛慎討伐の軍勢が、佐渡島の対岸の越（こし、今の北陸地方）の国から起こったことを考えると、後世の粛慎討伐の記録から後付けで作られた記録であるとも考えられる。
斉明天皇の時代は、さかんに蝦夷を支配下におこうとした時代であった。その一環として、越の国の国守の阿倍臣による数回の蝦夷・粛慎討伐がある。日本書紀には6件の阿倍臣による征討についての記事がある。
斉明天皇4年（658年）4月……180艘の船を率いて蝦夷を討伐する
斉明天皇4年（658年）是歳（詳しい月日は不明ということ）……粛慎討伐とヒグマの献上参考原文・現代語訳
斉明天皇5年（659年）3月……180艘の船を率いて蝦夷を討伐する
斉明天皇5年（659年）3月分注……粛慎討伐と捕虜献上参考原文・現代語訳
斉明天皇6年（660年）3月……粛慎討伐参考原文・現代語訳
斉明天皇6年（660年）5月……粛慎の捕虜献上参考原文・現代語訳
この記事に付されている、実際の日本書紀中の粛慎についての記述を見ればあきらかだが、これらの記事は、良く似た内容をもっている。例えば、討伐の期間はみな3月から4月になっている。このため、これらの討伐が実際に何回行われたかについては、諸説ある。
例えば、本居宣長は、もともと討伐は一回しかなかったとした。4年・5年・6年と3回行ったように書かれているのは、壬申の乱などによる記録の混乱で4年・5年・6年と3種類の伝承ができてしまい、日本書紀の編者がそれら3種の伝承を無批判に取り入れたからだとした。
なお、阿倍臣が粛慎討伐に向かった場所は渡島（わたりしま）と書かれているが、それがどこであるかはさだかではない。ただ、ヒグマは本州にはおらず、北海道にしかいない。そして、阿倍臣がヒグマを献上したとの記録があることから、渡島を北海道であるとする説もある。
天武5年（676年）11月には、新羅の使節が粛慎を伴って来訪したとの記録（参考原文・現代語訳）があり、持統8年（694年）には粛慎人に官位を与えたという記録（参考原文・現代語訳）がある。この官位が与えられた粛慎は新羅の使節とともに来た者たちだと考えられている。また、持統10年（696年）には、蝦夷とともに粛慎への賜与の記録（参考原文・現代語訳）が残っている。
越國言。於佐渡嶋北御名部之碕岸有肅愼人。乘一船舶而淹留。春夏捕魚充食。彼嶋之人言非人也。亦言鬼魅、不敢近之。越（こし、今の北陸地方）の国からの報告によれば、佐渡島の北の御名部（みなべ）の海岸に粛慎人がおり、船に乗ってきて留まっている。春夏は魚をとって食料にしている。かの島の人は人間ではないと言っている。またオニであるとも言って、（島民は）敢えてこれ（粛慎人）に近づかない。
嶋東禹武邑人採拾椎子、爲欲熟喫。着灰裏炮。其皮甲化成二人、飛騰火上一尺餘許。經時相闘。邑人深以爲異、取置於庭。亦如前飛相闘不已。有人占云「是邑人必爲魃鬼所迷惑。」不久如言被其抄掠。島の東の禹武（うむ）という村の人が椎の実を拾って、これを煮て食べようと思った。灰の中に入れて炒った。その皮が変化して2人の人間になり、火の上を一尺ばかり飛び上がった。時を経て相戦った。村の人はいぶかしく思い、庭に置いた。するとまた前のように飛んで相戦うのをやめない。ある人が占って「この村の人はきっとオニに惑わされよう。」と言った。それほど時間のたたないうちに、（占いで）言ったように、物が掠め取られた。
於是肅愼人移就瀬波河浦。浦神嚴忌。人敢近。渇飮其水。死者且半。骨積於巖岫。俗呼肅愼隈也。そこで、粛慎人は瀬波河浦（せなみかわのうら）に移った。浦の神の霊力は強かった。人は敢えて近づかなかった。のどが渇いたのでその（浦の）水を飲んだ。死者は半分になろうとしていた。骨は岩穴にたまった。俗に粛慎隈（みしはせのくま）と呼ぶ。
是歳、越國守阿倍引田臣比羅夫討肅愼、獻生羆二・羆皮七十枚。この年、越の国守である阿倍引田臣比羅夫（あへのひきたのおみひらふ）が粛慎を討って、生きているヒグマ2匹とヒグマの皮70枚を献上した。
或本云、阿倍引田臣比羅夫與肅愼戰而歸。獻虜卅九人。ある本には、阿倍引田臣比羅夫が粛慎と戦って帰った。捕虜を39人献上した。
この文は日本書紀の本文ではなく、分注に書かれている。