分散共分散行列(ぶんさんきょうぶんさんぎょうれつ、英: variance-covariance matrix)や共分散行列(きょうぶんさんぎょうれつ、英: covariance matrix)とは、統計学と確率論において、ベクトルの要素間の共分散の行列である。これは、スカラー値をとる確率変数における分散の概念を、多次元に拡張したものである。 次のような列ベクトルを考える。 X = [ X 1 X 2 ⋮ X n ] {\displaystyle {\textbf {X}}={\begin{bmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{bmatrix}}} このベクトルの要素が各々分散が有限である確率変数であるとき、( i, j ) の要素が次のような行列 Σ を分散共分散行列という。 Σ i j = E [ ( X i − μ i ) ( X j − μ j ) ] = E ( X i X j ) − E ( X i ) E ( X j ) {\displaystyle \Sigma _{ij}=\mathrm {E} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{j}-\mu _{j})\end{bmatrix}}=\mathrm {E} (X_{i}X_{j})-\mathrm {E} (X_{i})\mathrm {E} (X_{j})} ただし、 μ i = E ( X i ) {\displaystyle \mu _{i}=\mathrm {E} (X_{i})\,} は、ベクトル X の i 番目の要素の期待値である。すなわち、Σ は次のような行列である。 Σ = [ E [ ( X 1 − μ 1 ) ( X 1 − μ 1 ) ] E [ ( X 1 − μ 1 ) ( X 2 − μ 2 ) ] ⋯ E [ ( X 1 − μ 1 ) ( X n − μ n ) ] E [ ( X 2 − μ 2 ) ( X 1 − μ 1 ) ] E [ ( X 2 − μ 2 ) ( X 2 − μ 2 ) ] ⋯ E [ ( X 2 − μ 2 ) ( X n − μ n ) ] ⋮ ⋮ ⋱ ⋮ E [ ( X n − μ n ) ( X 1 − μ 1 ) ] E [ ( X n − μ n ) ( X 2 − μ 2 ) ] ⋯ E [ ( X n − μ n ) ( X n − μ n ) ] ] {\displaystyle \Sigma ={\begin{bmatrix}\mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}}} この行列の逆行列は Σ − 1 {\displaystyle \Sigma ^{-1}} は、逆共分散行列(英: inverse covariance matrix) または精度行列(英: precision matrix) と呼ばれる[1]。 上記の定義は、下記の等式と同値である。 Σ = E [ ( X − E [ X ] ) ( X − E [ X ] ) ⊤ ] {\displaystyle \Sigma =\mathrm {E} \left[\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)^{\top }\right]} この形は、スカラー値における分散を高次元に拡張したものと捉えられる。スカラー値を取る確率変数 X について、次が成り立つことに注意する。 σ 2 = v a r ( X ) = E [ ( X − μ ) 2 ] {\displaystyle \sigma ^{2}=\mathrm {var} (X)=\mathrm {E} [(X-\mu )^{2}]\ } ただし、 μ = E ( X ) {\displaystyle \mu =\mathrm {E} (X)\ } Σ {\displaystyle \Sigma } が、分散共分散行列と呼ばれるのは、対角要素は分散だからである。
定義
分散の一般化としてみたとき