細かくみれば、方言はさらに下位分類される。東条操は、全国で話されている言葉を大きく東部方言・西部方言・九州方言および琉球方言に分けている[90]。またそれらは、北海道・東北・関東・八丈島・東海東山・北陸・近畿・中国・雲伯（出雲・伯耆）・四国・豊日（豊前・豊後・日向）・肥筑（筑紫・肥前・肥後）・薩隅（薩摩・大隅）・奄美・沖縄・先島に区画された。これらの分類は、今日でもなお一般的に用いられる。なお、このうち奄美・沖縄・先島の言葉は、日本語の一方言（琉球方言）とする立場と、独立言語として琉球語とする立場とがある。
また、金田一春彦は、近畿・四国を主とする内輪方言、関東・北陸・中国・九州北部の一部を主とする中輪方言、北海道・東北・九州の大部分を主とする外輪方言、沖縄地方を主とする南東方言に分類した[91]。この分類は、アクセント型の特徴が畿内を中心に輪を描くことに着目したものである。このほか、幾人かの研究者により方言区画案が示されている。
ひとつの方言区画の内部も変化に富んでいる。たとえば、奈良県は近畿方言の地域に属するが、吉野郡天川村洞川（どろがわ）周辺ではその地域だけ東京式アクセントが使われる。香川県観音寺市伊吹町（伊吹島）では、平安時代のアクセント体系が残存しているといわれる[92]（異説もある[93]）。これらは特に顕著な特徴を示す例であるが、どのような狭い地域にも、その土地としての言葉の体系がある。したがって、「どの地点のことばも、等しく記録に価する[94]」ものである。
母音の数は、奈良時代およびそれ以前には現在よりも多かったと考えられる。橋本進吉は、江戸時代の上代特殊仮名遣いの研究を再評価し[95]、記紀や『万葉集』などの万葉仮名において「き・ひ・み・け・へ・め・こ・そ・と・の・も・よ・ろ」の表記に2種類の仮名が存在することを指摘した（甲類・乙類と称する。「も」は『古事記』のみで区別される）。橋本は、これらの仮名の区別は音韻上の区別に基づくもので、特に母音の差によるものと考えた[96]。橋本の説は、後続の研究者らによって、「母音の数がアイウエオ五つでなく、合計八を数えるもの[97]」という8母音説と受け取られ、定説化した（異説として、服部四郎の6母音説[17]などがある）。8母音の区別は平安時代にはなくなり、現在のように5母音になったとみられる。なお、上代日本語の語彙では、母音の出現のしかたがウラル語族やアルタイ語族の母音調和の法則に類似しているとされる[11]。
「は行」の子音は、奈良時代以前には [p] であったとみられる[98]。すなわち、「はな（花）」は [pana]（パナ）のように発音された可能性がある。[p] は遅くとも平安時代初期には無声両唇摩擦音 [?] に変化していた[99]。すなわち、「はな」は [?ana]（ファナ）となっていた。中世末期に、ローマ字で当時の日本語を記述したキリシタン資料が多く残されているが、そこでは「は行」の文字が「fa, fi, fu, fe, fo」で転写されており、当時の「は行」は「ファ、フィ、フ、フェ、フォ」に近い発音であったことが分かる。中世末期から江戸時代にかけて、「は行」の子音は「ふ」を除いて [?] から [h] へと代わった（厳密には「ひ」は [ci]）[100]。現代でも引き続きこのように発音されている。
このように、「は行」子音はおおむね [p] → [?] → [h] と唇音が衰退する方向で推移した。唇音の衰退する例は、ハ行転呼の現象（「は行」→「わ行」すなわち [?] → [w] の変化）にもみられる。また、関西で「う」を唇を丸めて発音する（円唇母音）のに対し、関東では唇を丸めずに発音するが、これも唇音の衰退の例ととらえることができる。
「や行」の「え」（[je]）の音が古代に存在したことは、「あ行」の「え」の仮名と別の文字で書き分けられていたことから明らかである。古い手習い歌の「あめつちの歌」にも「あ行」「や行」の区別がある。この区別は10世紀頃にはなくなったとみられ、970年の『口遊』に残る「たゐにの歌」では両者の区別はない。この頃には「あ行」「や行」の「え」の発音はともに [je] になっていた（次節参照）。
「が行」の子音は、語中・語尾ではいわゆる鼻濁音（ガ行鼻音）の [?] であった。鼻濁音は、近代に入って急速に勢力を失い、語頭と同じ破裂音の [?] または摩擦音の [?] に取って代わられつつある。今日、鼻濁音を表記する時は、「か行」の文字に半濁点を付して「カカ゜ミ（鏡）」のように書くこともある。
「じ・ぢ」「ず・づ」の四つ仮名は、室町時代前期の京都ではそれぞれ [?i] 、 [d?i] 、 [zu] 、 [du] と発音されていたが、16世紀初め頃に「ち」「ぢ」が口蓋化し、「つ」「づ」が破擦音化した結果、「ぢ」「づ」の発音がそれぞれ [?i] 、 [?u] となり、「じ」「ず」の音に近づいた。