判別分析（はんべつぶんせき、英: discriminant analysis）は、事前に与えられているデータが異なるグループに分かれる場合、新しいデータが得られた際に、どちらのグループに入るのかを判別するための基準（判別関数[注釈 1]）を得るための正規分布を前提とした分類の手法。英語では線形判別分析[注釈 2]をLDA、二次判別分析[注釈 3]をQDA、混合判別分析[注釈 4]をMDAと略す。1936年にロナルド・フィッシャーが線形判別分析を発表し[1][2]、1996年に Trevor Hastie, Robert Tibshirani が混合判別分析を発表した[3]。

3つ以上のグループの判別は重判別分析[注釈 5]や正準判別分析と呼ばれる。
判別関数の種類

判別関数には以下の物などがある。
線形判別関数[注釈 6]
超平面・直線による判別。線形判別分析は等分散性が必要。
二次判別関数[注釈 7]
楕円など二次関数による判別。二次判別分析は等分散性が不要。
非線形判別関数[注釈 8]
超曲面・曲線などの非線形判別関数。
前提条件

線形判別分析は、以下の前提条件が成立する必要がある。

各グループは多変量正規分布[注釈 9]している

全てのグループが同じ共分散行列を持つ（等分散性）

その上で、マハラノビス汎距離[注釈 10]が等距離の所に直線を引く。これらの前提条件が成立しないとおかしな結果になる。

各グループの平均が異なる以上、分散が異なることは多々ある。等分散性の仮定を外した物が二次判別分析である。それぞれのグループで異なる共分散行列を使用してマハラノビス距離を計算して、等距離になる場所を判別曲面とする方法である。この方法は二次関数となり、正規分布が成立している場合は正しい結果になる。

線形判別分析において、グループ間の確率のロジットは線形関数となるが、ここで線形関数という仮定を残したまま、正規分布や等分散性の仮定を外すとロジスティック回帰や単純パーセプトロンになる[4]。

さらに別な方法としては、線形判別関数を使用したい場合は、線形サポートベクターマシンで線形判別関数を求めるという方法もある。
線形判別分析

線形判別関数は以下の通り。これの正負で判断。 x {\displaystyle x} は入力、 μ {\displaystyle \mu } は平均、 Σ {\displaystyle \mathbf {\Sigma } } は共分散行列[注釈 11]。この式は多変量正規分布の式より導出できる。 ( x − μ f i r s t + μ s e c o n d 2 ) T Σ − 1 ( μ f i r s t − μ s e c o n d ) {\displaystyle \left(x-{\frac {\mu _{\rm {first}}+\mu _{\rm {second}}}{2}}\right)^{T}\mathbf {\Sigma } ^{-1}(\mu _{\rm {first}}-\mu _{\rm {second}})}

より細かく、線形判別関数 ( y = ∑ i = 1 n a i x i + a 0 {\displaystyle y=\sum _{i=1}^{n}a_{i}x_{i}+a_{0}} ) の求め方を以下に示す。
第一群、第二群についてそれぞれ積和を求める(N はサンプル数)。 W i j = ∑ k = 1 N ( x i ( k ) − x ¯ i ) ( x j ( k ) − x ¯ j ) {\displaystyle W_{ij}=\sum _{k=1}^{N}(x_{i}^{(k)}-{\overline {x}}_{i})(x_{j}^{(k)}-{\overline {x}}_{j})}

第一群と第二群の平方和・積和を、同じ2変数について足し、自由度 N f i r s t + N s e c o n d − 2 {\displaystyle N_{\rm {first}}+N_{\rm {second}}-2} で除す。 S i j = W i j ( f i r s t ) + W i j ( s e c o n d ) N f i r s t + N s e c o n d − 2 {\displaystyle S_{ij}={\frac {W_{ij}{\rm {(first)}}+W_{ij}{\rm {(second)}}}{N_{\rm {first}}+N_{\rm {second}}-2}}}