中世の大学は、キャンパスを持たなかった。授業は教会や家のように場所が使える所ならどこでも行われ、大学は物理的な場所ではなく、"universitas"（教師のギルドと学生のギルドが1つにまとまった組合団体の意）として互いに結び付けられた諸個人の集まりだった。この呼称で知られる高等教育機関としての大学は、まさに中世のイタリアから始まったものであり、それ以外の世界各地にあったという古代の教育機関とは直接の派生的な関係はない。
大学は一般に、教師に給料を支払う者に依存する2つのタイプに従って構成されていた。第一のタイプはボローニャにおけるもので、学生が教師を雇い給料を支払う。第二のタイプはパリにおけるもので教師は、教会から給料を支払われる。この構造的な違いは他の特徴を作り出した。ボローニャ大学においては学生が全てを運営した――事実しばしば教師は大変な重圧と不利益のもとに置かれた。パリでは教師が学校を運営した。従って、パリではヨーロッパ中からの教師にとって第一の場所になった。パリでは、教会が給料を払っていたので、主題的な事柄は神学だった。ボローニャでは、生徒はより世俗的な研究を選び、主な主題は法学だった。
大学の研究は学士号のために6年かかり、修士号や博士号のためにはさらに12年に及んだ。最初の6年は、自由七科（算術、幾何、天文、楽理、文法、論理、修辞）を研究する哲学部（faculty of the arts）に学んだ。当時ポピュラーな教授法だったスコラ学との緊密な結びつきがあるために、最も重視されたのは論理学だった。
ひとたび学士（Bachelor of Arts）を取得すると、学生は修士や博士となるべく三つの学部―法学部、医学部、神学部―から1つを選ぶ。神学は学問のうち最も名望のある領域で、かつ最も難しい領域だった。
課程は主題やテーマによってではなく書物に従って設けられる。例えば、ある課程はアリストテレスの書物あるいは聖書からの書物に基づいてあるかもしれない。課程は選択ではなく、課程の設置は固定され、全員が同じ課程をとらなければならなかった。しかし、どの教師が使用するかにしたがって臨時の選択があった。
学生は大学に14、5歳の時に入った。授業は、午前5時か6時の開始が普通であった。
学生は聖職者と同様の法的保護を与えられた。この仕方で、だれも学生に肉体的な危害を与えることを許されず、学生は教会裁判所において犯罪のために審問されるのみであり、従っていかなる身体刑からも免れていた。このことは学生に都市環境においてとがめなく世俗法を犯す自由を与えた。実際、多くの乱用がなされ、盗み、強姦、殺人は、ゆゆしい結果を直視しない学生の間では珍しくはなかった。このことは世俗的権威とともに不安な緊張へと導いた。学生は時々都市を去り何年も戻らないことによって「ストライキ」した。これは、（学生によって始められた）暴動が多数の学生を死に至らしめた後、1229年のパリ大学ストライキにおいて起こった。学生はストライキしつづけ、二年間戻らなかった。
以上のように学生は法律上聖職者的な地位をもつため、女性が大学に入学することは許可されなかった（女性は法によって聖職者になることを禁じられていた）。
大学の研究のためのポピュラーな教科書は、ペトルス・ロンバルドゥスの『命題集』といわれる。神学生や修士はカリキュラムの一部としてこの教科書について広範な注釈をかくことを要求された。哲学と神学における中世思想の多くは、スコラ的な文献注釈に見出される。なぜならスコラ学は非常にポピュラーな教育法だったからである。
ヨーロッパにおける国際的な卓越性をもつどの大学も神聖ローマ帝国によって「ストゥディウム・ゲネラーレ」（Studium Generale）として登録された。この施設の構成員は、異なったストゥディウム・ゲネラーレにおける講義課程をしばしば与えるので、ヨーロッパ中にかれらの知識を広めるよう奨励された。
米国では1636年にハーバード大学（最初はHarvard Collegeとして）が、続いて1693年にウィリアム・アンド・メアリー大学(College of William and Mary)が設立され、1749年にはペンシルバニア大学（University of Pennsylvania）が誕生する。 自然科学は、長く各国の科学アカデミーのレベルで研究が進められた。 19世紀に至り、哲学から心理学、社会学、教育学などが分離、民俗学や遺伝学、生理学、物理学などが急速な発展を遂げ、19世紀は今日の大学の基本的な諸分野が、ほぼその骨格を現すことになった。特に重要なのは言語学者でプロイセンの政治家としても有名だったフンボルトがその骨格をつくったベルリン大学である。国家からの学問の自由を志向し、なにより研究を大学の重要な機能としたベルリン大学は、各国の大学のモデルとなり、その産業形成を支えた。
20世紀になってからは、欧米以外の世界の各国でも多くの大学が誕生してくるようになる。ヨーロッパでは、人文自然科学でも理論的な学問研究が、大学の主要学部とみなされた。また、経営学や音楽、美術、工学などは単科大学や大学校（例えば、ドイツでは大学をいうUniversit?tよりも、格下、もしくは別種のものとしてHochschuleとして区別している）はやや差別的な位置づけをされていたものが、徐々に大学の構成学部として認知されるようになってきた。
21世紀に入ると、情報科学、社会福祉、都市開発などで従来にはなかったような新しいコンセプトの学部も、世界各国のそれぞれの国内事情に対応して誕生するようになってきた。
近代日本の大学教育は西欧を起源としているが、そもそも日本では律令制下において大学寮があり、博士が教鞭をとって優秀な人材の育成にあたった。庶民の入学も可能で、卒業した場合は八位に叙せられた。また、大学の他、国学も起こり、郡司の子弟などが入学した。
しかし、次第に大学寮の衰退するにつれ、有力貴族によって設立された大学寮付属の寄宿舎兼学習室が発達した。これが大学別曹である。その主なものとしては和気氏の弘文院や橘氏の学館院、皇別氏族である在原氏の奨学院など、皇室の外戚である藤原氏の勧学院いずれも平安初期の創建である。中でも、勧学院においては藤原氏の勢力を背景にして有力氏族の大学の中で最大規模であった。そうしたことから、勧学院の雀蒙求をさえずると評された。そして、大学別曹が発達していくにつれ、本来は官吏養成機関であった大学寮は変質していった。大学寮の試験も情実で行われるなど形式化し、貴族の推薦で入学するという例が多くなった。また、教官側も世襲化してその学問は家学化していき、寮外の自宅などで講義を行うようになっていった。そのため、大学寮は平安末期には有名無実化してしまい、大学別曹も貴族の衰退とともにかつての隆盛を失った。一方、民間では足利学校なども起こったが、日本の長い歴史の中で本格的な大学という教育制度が根付くのは、幕末維新後の近代化まで待つことになった。
明治初期の頃、明治政府の政策により、蘭学を学ぶ場となっていた開成学校が、幾多の変遷を経て大学校になった他（1868年）、その他の国立大学も次第に創設されていった。その後、帝国大学令に基づいて地方ごとに東京帝国大学（大学校から改称（1886年））を中心として国立大学が成立していった。一方で専門学校であった私立の学校も大学令（1918）の下で私立大学として成立していった（旧制大学）（旧制大学名については、「旧制大学」の項目を参照）。大学は当初、大学部の他、専門部等を置くなどの変遷を経たが、その後、4年制の学部と上級課程に5年制の大学院が置かれた。1948年以降、大学院に修士課程が創設され、大学院は2年制の修士課程、その後の博士課程に分割された。