東山道は『日本書紀』の「東ノヤマノ道」あるいは『西宮記』の「東ノ道」にあたると考えられている[2]。

東山道の成立時期については、天武天皇の時代とする説がある。これは壬申の乱の時に美濃国・信濃国の軍事力(兵士・軍馬)が大海人皇子（天武天皇）方に就いたことが勝利につながったため、天皇の即位後も両地域と畿内の中間にある近江国[注釈 1]を含めて重要視され、これらの国々をつなぐ官道を整備する必要があったとする考えによる[3]。

律令時代の東山道は、畿内から陸奥国へ至る東山道諸国の国府を結ぶ駅路で[4]、現在の東北地方へ至る政治面・軍事面で重要な最短ルートであった[注釈 2][注釈 3]。

律令時代に設けられた七道の中で中路とされた。陸奥国府（多賀城）からはさらに北へ鎮守府（北上盆地内）まで小路が伸びていた。東山道には、駅伝制により30里（約16 km）ごとに駅馬（はゆま）10頭を備えた駅家（うまや）が置かれていた。

飛騨国へは美濃国府を過ぎた現在の岐阜市辺りから支路が分岐していた。

美濃国・信濃国（伊那盆地）間は神坂峠を通った。信濃国内では松本盆地と上田盆地[5]との間の保福寺峠を通った。信濃国・上野国間は碓氷峠を通った。

武蔵国は奈良時代当初は東山道に属し[注釈 4]、東山道の枝道として東山道武蔵路が設けられた[注釈 5]。その経路は上野国新田より南下し武蔵国府（現・府中市）に至り、同じ路を戻って北上し下野国足利へ進むコース（またはこの逆）が東山道の旅程であった。

出羽国へは、小路とされた北陸道を日本海沿岸に沿って延ばし、出羽国府を経て秋田城まで続いていたと見られている。そのほか、多賀城に至る手前の東山道から分岐して出羽国府に至る支路もあったと見られている。

東山道の建設については誰が計画してそれを実行したかほとんどわかっていないが、断片的な記録として大宝2年（702年）12月10日『続日本紀』に、初めて「初めて美濃の国に岐蘇（きそ）の山道を開く」との記録がある[4]。この記述が示す地域の経路は、美濃国の坂本駅（現・中津川市）から神坂峠を越え伊那谷に至るルートを取っている[6]。また『続日本紀』には、天平9年（737年）に東山道の北端にあたる陸奥国から出羽国に通じる新道の建設工事の様子を示す記述も残されており、陸奥国の鎮守府将軍である大野東人が軍隊を率いて、色麻柵（しかまのき、現・宮城県加美町）から急峻な奥羽山脈を越えて、出羽国最上郡玉野（現・山形県尾花沢市）を経て、北の比羅保許山（ひらほこやま、現・山形県金山町付近）まで至る160里[注釈 6]の道を開発したとされる[7]。

平安時代には、平安京（京都）との間の運脚（運搬人夫）の日数（延喜式による）は以下の通り。括弧内は陸路の行程日数で、前者が上り（平安京方面）で後者が下り。上りは調と庸とともに旅費にあたるものも携行したため、下りの約2倍の日数を要したとされる。

東山道：近江国府（1日/0.5日）、美濃国府（4日/2日）、信濃国府（21日/10日）、上野国府（29日/14日）、下野国府（34日/17日）、陸奥国府（50日/25日）

支路：飛騨国府（14日/7日）

北陸道：出羽国府（47日/24日）

近世

江戸時代になると、江戸を中心とする五街道が整備され、幹線道路としての東山道は、中山道・日光例幣使街道・奥州街道などに再編された。.mw-parser-output .ambox{border:1px solid #a2a9b1;border-left:10px solid #36c;background-color:#fbfbfb;box-sizing:border-box}.mw-parser-output .ambox+link+.ambox,.mw-parser-output .ambox+link+style+.ambox,.mw-parser-output .ambox+link+link+.ambox,.mw-parser-output .ambox+.mw-empty-elt+link+.ambox,.mw-parser-output .ambox+.mw-empty-elt+link+style+.ambox,.mw-parser-output .ambox+.mw-empty-elt+link+link+.ambox{margin-top:-1px}html body.mediawiki .mw-parser-output .ambox.mbox-small-left{margin:4px 1em 4px 0;overflow:hidden;width:238px;border-collapse:collapse;font-size:88%;line-height:1.25em}.mw-parser-output .ambox-speedy{border-left:10px solid #b32424;background-color:#fee7e6}.mw-parser-output .ambox-delete{border-left:10px solid #b32424}.mw-parser-output .ambox-content{border-left:10px solid #f28500}.mw-parser-output .ambox-style{border-left:10px solid #fc3}.mw-parser-output .ambox-move{border-left:10px solid #9932cc}.mw-parser-output .ambox-protection{border-left:10px solid #a2a9b1}.mw-parser-output .ambox .mbox-text{border:none;padding:0.25em 0.5em;width:100%;font-size:90%}.mw-parser-output .ambox .mbox-image{border:none;padding:2px 0 2px 0.5em;text-align:center}.mw-parser-output .ambox .mbox-imageright{border:none;padding:2px 0.5em 2px 0;text-align:center}.mw-parser-output .ambox .mbox-empty-cell{border:none;padding:0;width:1px}.mw-parser-output .ambox .mbox-image-div{width:52px}html.client-js body.skin-minerva .mw-parser-output .mbox-text-span{margin-left:23px!important}@media(min-width:720px){.mw-parser-output .ambox{margin:0 10%}}

この節の加筆が望まれています。

現代

律令時代の東山道に相当するルートと並走する形で、幾つかの国道などの一般道路や鉄道が通っている。概ね長浜（滋賀県）から宇都宮（栃木県）までを東西に横断するルートになり、長浜以南（京都方面）と宇都宮以北（多賀城方面）は南北に縦断するルートになるが、高速道路では京都側から順に名神高速道路・中央自動車道・長野自動車道・上信越自動車道・北関東自動車道・東北自動車道に相当する。

しかし、明治政府が東京を本拠地にした東京奠都を行い、中山道幹線計画断念後は関ヶ原（不破関）と碓氷峠を結ぶ国道や鉄道は、一本の道にされず、幾つもの路線に分断されてしまった。そして、「東京時代」が本格的に到来した後は、従来の「近畿⇔北関東・東北内陸部・常磐三陸」の需要は「南関東⇔北関東・東北内陸部・常磐三陸」へと移っていった。これに加えて、高度経済成長期に「東京・名古屋・大阪の三極集中」が促進された為、例えば岐阜⇔高崎というような東山道沿線の往来が廃れ、さらには近畿地方の経済的・文化的影響力の低下によって近畿⇔北関東・東北の交流も疎遠になったこともあり、関ヶ原と碓氷峠を経由して近畿と北関東・東北内陸部・常磐三陸を結ぶ「東山道」は廃れていった。近年の東北内陸部や常磐三陸から近畿までを往来する高速バスも、最短路が首都高速道路（東京経由の太平洋沿岸ルート）や北関東自動車道（高崎経由の内陸ルート）を経由するよりも、全区間が高速道路で繋がっている磐越自動車道・北陸自動車道経由（長岡経由の日本海沿岸ルート）の方が速い（例：フォレスト号 (大阪 - 仙台線)）。