この項目では、統計的分類の文脈における生成モデルについて説明しています。マルコフ決定過程の生成モデルについては「en:Markov decision process#Simulator models」を、コンピュータグラフィックスにおける生成モデル言語（GML）と生成型コンピュータプログラミングについては「生成的モデリング言語（英語版）」を、生成AIについては「生成的人工知能」をご覧ください。

統計的分類では、生成的アプローチと識別的アプローチの2つの主要な手法がある。これらのアプローチでは、分類指標（英語版）を計算するために異なる方法論を用いており、その統計的モデリングの程度もさまざまである。使用される用語は一貫していないが[注釈 1]、Jebara (2004)によれば、主に3つの種類に分けられる。
生成的モデル（generative model）は、観測可能変数X と目的変数（英語版）Y の同時確率分布 P ( X , Y ) {\displaystyle P(X,Y)} に基づく統計モデルである[1]。

識別的モデル（discriminative model）は、観測値 x が与えられたときの、目的変数 Y の条件付き確率 P ( Y ∣ X = x ) {\displaystyle P(Y\mid X=x)} に基づく統計モデルである。

さらに、確率モデルを使用せずに計算される分類指標も、漠然と「識別的（discriminative）」と呼ばれる。

この最後の2つの種類は一貫して区別されておらず[2]、Jebara (2004)はこの3種類を生成的学習（generative learning）、条件付き学習（conditional learning）、識別的学習（discriminative learning）と呼んでいるが、Ng & Jordan (2002)は後者の2つを区別せずに、生成的分類指標（generative classifiers、同時分布）と識別的分類指標（discriminative classifiers、条件分布または無分布）と2つしか区別しない[3]。同様に、生成的モデルに基づく分類器を生成的分類器（generative classifier）、識別的モデルに基づく分類器を識別的分類器（discriminative classifier）と呼ぶが、後者はモデルに基づかない分類器も指すこともある。

それぞれの標準的な例は次のとおりで、すべて線形分類器である。

生成的分類指標:

単純ベイズ分類器、および

線形識別解析（英語版）


識別的モデル:

ロジスティック回帰

分類に適用する場合、その目的は観測値 x からラベル y （またはラベルに対する確率分布）を決定することである。そのための3種類の手法があり、1番目は確率分布を用いずに直接計算する方法（distribution-free classifier、分布によらない分類器）、2番目は観測値からラベルの確率 P ( Y 。 X = x ) {\displaystyle P(Y|X=x)} を推定し、それを基に分類する方法（discriminative model、識別的モデル）、3番目は同時分布 P ( X , Y ) {\displaystyle P(X,Y)} を推定し、そこから条件付き確率 P ( Y 。 X = x ) {\displaystyle P(Y|X=x)} を計算し、それを基に分類する方法（generative model、生成的モデル）である。これらの手法は、ますます間接的ではあるが、ますます確率的であり、より多くのドメイン知識と確率理論を使用することができるようになる。実際には、実際の問題に応じてさまざまな手法が選択され、複数の方法の長所を組み合わせたハイブリッド法も可能である。
定義

モデルを分類するもう一つの方法は、次の対称的な定義である。

生成的モデルとは、目的値 y が与えられたときの、観測可能変数 X の条件付き確率を表すモデルであり、記号的には P ( X ∣ Y = y ) {\displaystyle P(X\mid Y=y)} と表される[4]。

識別的モデルとは、観測値 x が与えられたときの、目的変数 Y の条件付き確率を表すモデルであり、記号的には P ( Y ∣ X = x ) {\displaystyle P(Y\mid X=x)} と表される[5]。

正確な定義はともかく、この用語は構造上のものである。生成的モデルは、観測値と目的値 ( x , y ) {\displaystyle (x,y)} または目的値 y が与えられたときの観測値 x のいずれかの、ランダムなインスタンス（結果）を「生成」することができる。一方、識別的モデル、または識別的分類器（モデルなし）は、観測値 x が与えられたとき、目標変数 Y の値を「識別」することができる[4]。「識別」（discriminate）と「分類」（classify）の違いは微妙で、この2つの用語しばしば同じ意味で使われることがある。したがって「識別」と「分類」が等価である場合、「識別的分類器」という用語は冗語になる。

また「生成的モデル」という用語は、入力変数の潜在的なサンプルの確率分布に直接関係しない方法で出力変数のインスタンスを生成するモデルを表すこともある。敵対的生成ネットワークは、これに属する生成的モデルの例であり、主に潜在的な入力に対する特定の出力の類似性に基づいて判断される。しかしこのようなモデルは分類器ではない。
モデル間の関係

分類へ関していえば、観測可能変数 X は多くの場合連続変数（英語版）で、目的 Y は一般的にラベルの有限集合からなる離散変数（英語版）であり、また、条件付き確率 P ( Y ∣ X ) {\displaystyle P(Y\mid X)} は、 X を入力、Y を出力とする（非決定論的な）目的関数（英語版） f : X → Y {\displaystyle f\colon X\to Y} と解釈することもできる。

ラベルの有限集合があるとき、「生成的モデル」の2つの定義は密接に関連している。条件付き分布 P ( X ∣ Y = y ) {\displaystyle P(X\mid Y=y)} のモデルは、各ラベルの分布を表し、同時分布のモデルは、ラベル値の分布 P ( Y ) {\displaystyle P(Y)} と、ラベルを与えられた観測値の分布 P ( X ∣ Y ) {\displaystyle P(X\mid Y)} のモデルと等価で、記号的には P ( X , Y ) = P ( X ∣ Y ) P ( Y ) {\displaystyle P(X,Y)=P(X\mid Y)P(Y)} である。したがって、同時確率分布のモデルは、ラベル分布のモデル（ただしラベルの相対的な頻度を含まない）よりも情報量が多いが、比較的小さな違いであり、両者が常に区別されているわけではない。

同時確率分布のモデル P ( X , Y ) {\displaystyle P(X,Y)} があれば、個々の変数の分布は周辺分布 P ( X ) = ∑ y P ( X , Y = y ) {\displaystyle P(X)=\sum _{y}P(X,Y=y)} と P ( Y ) = ∫ x P ( Y , X = x ) {\displaystyle P(Y)=\int _{x}P(Y,X=x)} として計算できる（X は連続、したがって積分、 Y は離散、したがって累積和）。