大学の中に学部と研究科が置かれており、大学院では専攻分野の大きな括りを「研究科」、研究科の分野を細分したものを「専攻」と呼んでいる。ただし、2000年（平成12年）4月1日以降は異なった名称・形態の下部組織も現れた。大学院には「修士課程」「博士課程」「専門職学位課程」がある。更に細分化された課程が置かれている場合もある。

大学院に進学するためには、一般的には大学の学部を卒業するか、大学改革支援・学位授与機構より授与されるかして学士の学位を取得するか、個別の入学資格審査に合格し学部卒業と同等の学力を有すると認められる必要がある。大学院によっては、学部の卒業を経ない飛び級の制度を設けている場合もある。その後、大学院に進学し大学院の課程を修了した者は、その課程に応じて修士号、博士号、専門職学位の学位が授与される。修士号、博士号、専門職学位はAdvanced Degree（上級学位）と呼ばれる。
授与される学位

大学は、学位規則（昭和28年文部省令第9号）などに基づき、大学院（専門職大学院を除く）の課程を修了した者に対し、修士または博士の学位を、専門職大学院の課程を修了した者に対し専門職学位を授与する[16]。

大学は、学位規則などに基づき、大学院（専門職大学院を除く）の課程を修了することで博士の学位を授与された者と同等以上の学力があると認める者に対し、博士の学位を授与することができる[17]。大学院（専門職大学院を除く）の課程を修了することで授与をされる博士の学位を課程博士と呼ぶことがある。また、「大学院（専門職大学院を除く）の課程を修了することで博士の学位を授与された者」と同等以上の学力があると認められて授与される博士の学位を論文博士と呼ぶことがある。いずれも学位規則等に規定された正式な呼称ではなく、一般的には、どちらの取得方法であっても同じ博士の学位として扱われる。
設置基準

日本の教育制度においては、大学院は、大学に置くことができる（学校教育法第97条）、とされている。

大学院は、学術の理論及び応用を教授研究し、その深奥を究め、または高度の専門性が求められる職業を担うための深い学識及び卓越した能力を培い、文化の進展に寄与することを目的とする（学校教育法第99条第1項）。

また、大学院のうち、学術の理論および応用を教授研究し、高度の専門性が求められる職業を担うための深い学識および卓越した能力を培うことを目的とするものは、専門職大学院とされる[18]。

大学院を置く大学には、研究科を置くことを常例とされる[19]。研究科は、専門分野に応じて、教育研究上の目的から組織されるものである[20]。

ただし、当該大学の教育研究上の目的を達成するため有益かつ適切である場合においては、文部科学大臣の定めるところにより、研究科以外の教育研究上の基本となる組織を置くことができる[21]。研究科以外の教育研究上の基本となる組織を置くことができるようになったのは、2000年4月1日からである。この日に、九州大学の全ての大学院が、学生が所属する教育部として学府、教員が所属する研究部として研究院という組織を持つ大学院へと改組された。東京大学では新たに教育部として学府を、研究部として学環を持つ大学院情報学環・学際情報学府が設置された。

大学院には、二つ以上の大学が協力して教育研究を行う研究科・課程をおくことができる方式が二つある。一つ目は、連合研究科（れんごうけんきゅうか）、連合大学院などと呼ばれる方式（大学院設置基準第7条）で、例えば、東京学芸大学、横浜国立大学、千葉大学、埼玉大学よりなる東京学芸大学大学院連合学校教育学研究科（教育学の博士課程）がある。その他に連合農学研究科、連合獣医学研究科、連合小児発達学研究科がある。二つ目は、共同教育課程を編成する方式（大学院設置基準第31条）で、共同大学院ともよばれ、例えば東京女子医科大学と早稲田大学による共同先端生命医科学専攻がある。なお、連合大学院では基幹となる研究科に組織を設置し、教員・学生は基幹校に所属し、基幹校の名義の学位を出す一方、共同教育課程ではすべての構成大学に組織を設置し、教員・学生はすべての構成大学に所属し、全ての構成大学の連名で学位を出すといった違いがある。

2000年代以降は、大学院において専門の教育と訓練を受けた、各分野において指導的役割を果たす、高度で専門的な職業能力を有する人材（高度専門職業人）の養成という社会的な要望から、主に社会人の経歴を有する者を教育する大学院の課程（社会人大学院などとも呼ぶ）の設置も相次いでいる。

2003年度からは、専門職大学院の制度が作られ、法曹に必要な学識及び能力を培うことを目的とする法科大学院などが作られた。専門職大学院については、学術の理論および応用を教授研究し、高度の専門性が求められる職業を担うための深い学識および卓越した能力を培うことが要求される。

大学院の設置基準としては、大学院設置基準（昭和49年文部省令第28号）などがあり、専門職大学院に関しては、加えて、専門職大学院設置基準（平成15年文部科学省令第16号）などが適用される。
研究大学

文部科学省は国際競争力の向上のため「研究大学強化促進事業」を打ち出し、学部よりも大学院に重点を置いている大学を研究大学と銘打って、他の大学よりも大きな補助金を与えている。文部科学省により選出された研究大学は、北海道大学、東北大学、筑波大学、東京大学、東京工業大学、東京医科歯科大学、電気通信大学、名古屋大学、豊橋技術科学大学、京都大学、大阪大学、奈良先端科学技術大学院大学、神戸大学、広島大学、岡山大学、九州大学、熊本大学、慶應義塾大学、早稲田大学である。[22]
専門職大学院詳細は「専門職大学院」を参照
大学院大学詳細は「大学院大学」を参照北陸先端科学技術大学院大学

日本においては、大学には学部（学部以外の教育研究上の基本となる組織を含む。以下この項で「学部等」という）を置くことを常例としている[23]。しかし教育研究上特別の必要がある場合においては、学部等を置くことなく大学院を置くものを大学とすることができる[24]。この大学は大学院大学（だいがくいんだいがく）などと呼ばれる。

日本初の大学院大学は1982年に財界主導で設立された国際大学である。大学院大学でない大学では、例えば工学部に対する工学研究科のように学部名と同一の名称をもつ、あるいは同一名称でなくとも直接関連する大学院を置くことが多く、これを2階建て大学院という。それに対して対応する学部を持たない大学院研究科は独立大学院あるいは独立研究科と呼ばれる。大学院大学のうち、大学以外の研究機関と協力しているものは、連携大学院（れんけいだいがくいん）などと呼ばれることもある。「Category:日本の大学院大学」も参照
課程

大学院には各種の課程がある。大学院設置基準（昭和49年文部省令第28号）においては、修士課程、博士課程、そして専門職学位課程（専門職大学院の課程）の3種類の課程が規定されている。専門職大学院の課程は組織上、各大学が置く大学院に専門職学位課程として置かれる。大学院を置く各大学の学則などでの運用においては、3種類の課程について細かく分けたり、合わせたりして呼称している。各大学の学則などにおける呼称としては、主に修士課程・博士前期課程、博士後期課程・後期3年博士課程、一貫制博士課程、4年制博士課程、そして専門職学位課程などがある。
各種定義と用法

大学院における課程について表現するにあたってはいくつかの方法があり、方法ごとに意味が異なっている。
大学院設置基準によるもの

大学院設置基準に定められている大学院の課程は、「修士課程」「博士課程」、そして「専門職学位課程」の3種となっている[25]。

修士課程は、学部卒業後の標準修業年限が一般に2年である課程であり[26]、修了した者には修士の学位が授与される[27]。