日本では、大和政権が統一以降に自国を「ヤマト」と称していたようであるが、古くから中国や朝鮮は日本を「倭」と呼んできた。石上神宮の七支刀の銘や、中国の歴史書（『前漢書』『三国志』『後漢書』『宋書』『隋書』など）や、高句麗の広開土王の碑文も、すべて倭、倭国、倭人、倭王、倭賊などと記している。そこで大和の代表者も、外交時には（5世紀の「倭の五王」のように）国書に「倭国王」と記すようになった[122]。

しかし、中国との国交が約120年に渡って中絶した後、7世紀初期に再開された時には、初回は「日出ずる処の天子、書を日没する処の天子に致す。恙無しや」（『隋書』）、これに隋が「皇帝、倭皇に問う」（『日本書紀』）と応じ、第2回は「東の天皇が西の皇帝に白す」（『日本書紀』）とする国書を日本側の遣隋使が渡した記述があり、初回の遣唐使を送ってきた唐使と礼を争った時も『日本書紀』では「天子の命のたまへる使、天皇の朝に到れりと聞きて迎えしむ」と日本側が発言している。いずれも「天子」「天皇」は記すが国名は記していない。当時編纂されたとされ、現存しない歴史書『天皇記』『国記』も君主号のみがあり国号は無い[注釈 24]。中国側では『旧唐書』の「東夷伝」に初めて日本の名称が登場し、倭国伝と日本伝を別に立て「日本国は倭国の別種なり。其の国、日の辺に在るを以ての故に、日本を以て名と為す」「或いは曰く、倭国自ら其の名の雅ならざるを悪（にく）み、改めて日本と為す」「或いは曰く、日本は旧（もと）小国、倭国の地を併す」のように、倭と日本の関係について説明している[123]。『新唐書』東夷伝も似た記事を載せるが、日本伝のみを立て、倭国が日本国を併合して国号を奪ったとする異伝を記す点が大きく相違する。

遣唐使はその後もしばしば派遣されているが、いつから「倭」に変えて「日本」を国号としたのかは明らかでない[124]。使者の毎回の交渉について詳しく記述している『日本書紀』も、8世紀に国号としての日本が確立した後の書物であり、原資料にあった可能性のある「倭」という国号の多くを「日本」と改めている[注釈 25]。対照的に『古事記』には「日本」という文字は全く現れない。それ以外の文献では、733年（天平5年）に書かれた『海外国記』の逸文で、664年（天智3年）に太宰府へ来た唐の使者に「日本鎮西筑紫大将軍牒」とある書を与えたというが、真偽は不明である。結局確かなのは『続日本紀』における記述であり、702年（大宝2年）に32年ぶりで唐を訪れた遣唐使は、唐側が「大倭国」の使者として扱ったのに対し、「日本国使」と主張したという。『旧唐書』『新唐書』の記事も、この日本側の説明に基づいているようである[125]。なお『万葉集』の歌謡では692年、持統天皇が伊勢国の神郡[注釈 26]に行幸したときに随行した石上麻呂の歌（44番）が「日本」の初出であり、この「日本」は大和国（現在の奈良県[注釈 27]）の意味で使われている[注釈 28]。
詳細

『日本書紀』では日本の初代天皇の神武天皇は神日本磐余彦尊（かむやまといわれひこのみこと）と記し、饒速日命（にぎはやひ）は「虚空見つ日本の国」と日本を呼んだ。

唐の張守節が開元24年（736年）に記した『史記正義』虞舜篇には「武后改倭國爲日本國（武后が倭国を改めて日本国と為す）」、夏禹篇には「倭國武皇后改曰日本國（倭国は武皇后が改めて日本国と曰う）」とある。北宋の王溥が建隆2年（961年）に記した『唐会要』には「咸亨元年三月、遣使賀平��麗、爾後繼来朝貢則天時、自言其國近日所出、故號日本國（咸亨元年（670年）三月、使を遣わし、高麗を平ぐるを賀し、爾後継いで来たりて朝貢す。則天の時、自ら言う「其の国、日の出づる所に近し、故に日本国と号す」と）」とある。北宋の宋祁が嘉祐5年（1060年）に記した『新唐書』には「天智死、子天武立。死、子總持立。咸亨元年、遣使賀平��麗、後稍習夏音、惡倭名、更號日夲。使者自言、国近日所出、以爲名（天智死し、子の天武立つ。死し、子の總持立つ。咸亨元年、使を遣わし��麗を平ぐるを賀す、後ち稍く夏音を習い、倭の名を悪み、更めて日夲と号く。使者自ら言う、国、日の出づる所に近く、以て名と為すと）」とあり[126]、名前や系譜の誤りはあるが持統天皇が国号を変更したとする。『史記正義』は唐代に成立した書物、『唐会要』は唐代に編纂されたものが北宋期に完成した書物、『新唐書』は唐代に成立した史料を元に成立した書物であることから、信憑性は高いと考えられる[127]。武則天が改名したとする『史記正義』の記事は事実には反するが、中華思想の立場からの表現と考えられる[注釈 29]。

『三国史記』の新羅本紀では「670年、倭国が国号を日本と改めた」とされているが、井上秀雄と吉田孝は、これは上記の『新唐書』を誤って引用したものとする。新羅本紀には「698年、日本国から使者が来た」という記事もあるが、『続日本紀』にはこれに対応する記事は無い。「倭」と「日本」の関係について、『日本書紀』によれば、「ヤマト」の勢力が中心に倭を統一した古代の日本では、漢字の流入と共に「倭」を借字として「ヤマト」と読むようになり、やがて、その「ヤマト」に当てる漢字を「倭」から「日本」に変更し、当初はこれを「ヤマト」と読んだとする[89]。

「日本」という国号の表記が定着した時期は、7世紀後半から8世紀初頭までの間と考えられる。このころの東アジアは、618年に成立した唐が勢力を拡大し、周辺諸国に強い影響を及ぼしていた。斉明天皇は658年臣の阿倍比羅夫に、外国である粛慎（樺太）征伐を命じている。663年の白村江の戦いでの倭国軍の敗戦により、唐は使者を倭国に遣わし、唐と倭国の戦後処理を行っていく過程で、倭国側には唐との対等関係を目指した律令国家に変革していく必要性が生じた。これらの情勢を契機として、668年には天智天皇が日本で最初の律令である近江朝廷之令（近江令）を制定した。そして672年の壬申の乱を経て強い権力を握った天武天皇は、天皇を中心とする体制の構築を更に進め、689年の飛鳥浄御原令から701年（大宝元年）の大宝律令の制定へと至る過程において国号の表記としての「日本」は誕生したと考えられる。

具体的な成立の時点は、天智天皇の時代（670年）説を除いた見解は以下の2説に絞られる。
天武天皇の治世（672年 - 686年）に成立したとする説[128]。これは、この治世に「天皇」の号および表記が成立したと同時期に「日本」という表記も成立したとする見解である。例えば吉田孝は、689年の飛鳥浄御原令で「天皇」表記と「日本」表記と両方が定められたと推測する[129][注釈 30]。

701年（大宝元年）の大宝律令の成立の前後に「日本」表記が成立したとする説。例えば神野志隆光は、大宝令公式令詔書式で「日本」表記が定められたとしている[130]。ただし、『日本書紀』の大化元年（645年）七月条には、高句麗・百済からの使者への詔には「明神御宇日本天皇」とあるが、今日これは、後に定められた大宝律令公式令を元に、『日本書紀』（720年（養老4年）成立）の編者が潤色を加えたものと考えられている[131]。