近代日本の大学教育は西欧を起源としているが、そもそも日本では律令制下において大学寮があり、博士が教鞭をとって優秀な人材の育成にあたった。庶民の入学も可能で、卒業した場合は八位に叙せられた。また、大学の他、国学も起こり、郡司の子弟などが入学した。
しかし、次第に大学寮の衰退するにつれ、有力貴族によって設立された大学寮付属の寄宿舎兼学習室が発達した。これが大学別曹である。その主なものとしては和気氏の弘文院や橘氏の学館院、皇別氏族である在原氏の奨学院など、皇室の外戚である藤原氏の勧学院いずれも平安初期の創建である。中でも、勧学院においては藤原氏の勢力を背景にして有力氏族の大学の中で最大規模であった。そうしたことから、勧学院の雀蒙求をさえずると評された。そして、大学別曹が発達していくにつれ、本来は官吏養成機関であった大学寮は変質していった。大学寮の試験も情実で行われるなど形式化し、貴族の推薦で入学するという例が多くなった。また、教官側も世襲化してその学問は家学化していき、寮外の自宅などで講義を行うようになっていった。そのため、大学寮は平安末期には有名無実化してしまい、大学別曹も貴族の衰退とともにかつての隆盛を失った。一方、民間では足利学校なども起こったが、日本の長い歴史の中で本格的な大学という教育制度が根付くのは、幕末維新後の近代化まで待つことになった。
明治初期の頃、明治政府の政策により、蘭学を学ぶ場となっていた開成学校が、幾多の変遷を経て大学校になった他（1868年）、その他の国立大学も次第に創設されていった。その後、帝国大学令に基づいて地方ごとに東京帝国大学（大学校から改称（1886年））を中心として国立大学が成立していった。一方で専門学校であった私立の学校も大学令（1918）の下で私立大学として成立していった（旧制大学）（旧制大学名については、「旧制大学」の項目を参照）。大学は当初、大学部の他、専門部等を置くなどの変遷を経たが、その後、4年制の学部と上級課程に5年制の大学院が置かれた。1948年以降、大学院に修士課程が創設され、大学院は2年制の修士課程、その後の博士課程に分割された。今日の制度はほぼ戦後初期に成立したものをそのまま踏襲しており、多少の法改正・制度改革を経て今日に至る。
大学の起源については、前身校が江戸時代以前のものもあるが、主要な大学（大学令及び学校教育法に基づく大学）が設立された時期を基準とした。
1877年 帝国大学（現東京大学）
1897年 京都帝国大学（現京都大学）
1907年 東北帝国大学（現東北大学）
1911年 九州帝国大学（現九州大学）
1918年 北海道帝国大学（現北海道大学）
1920年 東京商科大学（現一橋大学）、慶應義塾大学、同志社大学、法政大学、明治大学、早稲田大学、中央大学、國學院大学、日本大学
1922年 岡山医科大学（現岡山大学医学部）、龍谷大学、立教大学、関西大学、立命館大学
1923年 専修大学
1924年 立正大学
1925年 駒澤大学、東京農業大学
1926年 大正大学
1928年 大阪商科大学（現大阪市立大学）、東洋大学、上智大学
1929年 神戸商業大学（現神戸大学）、東京工業大学、東京文理科大学（現筑波大学）、広島文理科大学（現広島大学）
1931年 大阪帝国大学（現大阪大学）
1932年 関西学院大学
1939年 名古屋帝国大学（現名古屋大学）
1946年 東海大学
1949年 青山学院大学、近畿大学、学習院大学、東京理科大学、東京藝術大学、成蹊大学、明治学院大学、神奈川大学、東北学院大学、大東文化大学、南山大学、西南学院大学