尤度方程式
[Wikipedia|▼Menu]

尤度方程式(ゆうどほうていしき、: likelihood equation)とは、統計学において、対数尤度関数極値条件を与える方程式の事[1][2]統計的推定法の一つである最尤法において、尤度関数を最大化する最尤推定値を求める際に用いられる。
概要

独立同分布を満たす n {\displaystyle n} 個の確率変数 D = { D i ∣ i ∈ { 1 , . . , n } } {\displaystyle {\boldsymbol {D}}=\{D_{i}\mid i\in \{1,..,n\}\}} とその観測値 d = { d i ∣ i ∈ { 1 , . . , n } } {\displaystyle {\boldsymbol {d}}=\{d_{i}\mid i\in \{1,..,n\}\}} を定義する。すなわち真の分布から n {\displaystyle n} 個の観測値(データ)が無作為抽出された状況を考える。

ここで確率密度関数 f ( X 。 θ ) {\displaystyle f(X|{\boldsymbol {\theta }})} に従う確率モデルを導入する。ここで θ = ( θ 1 , . . , θ p ) {\displaystyle {\boldsymbol {\theta }}={(\theta _{1},..,\theta _{p})}} は分布パラメータ群であり、パラメータ空間Θ ⊂ Rpに値を持つ。この確率モデルが d {\displaystyle {\boldsymbol {d}}} を最も良く説明する θ {\displaystyle {\boldsymbol {\theta }}} を求めたい。ゆえに最尤推定をおこなう。

このとき独立同分布条件により、尤度関数 L ( θ 。 d ) {\displaystyle L({\boldsymbol {\theta }}|{\boldsymbol {d}})} と対数尤度関数 l ( θ 。 d ) {\displaystyle l({\boldsymbol {\theta }}|{\boldsymbol {d}})} は以下で定義される。 L ( θ 。 d ) = ∏ i = 1 n f ( X = d i 。 θ ) {\displaystyle L({\boldsymbol {\theta }}|{\boldsymbol {d}})=\prod _{i=1}^{n}f(X=d_{i}|{\boldsymbol {\theta }})} l ( θ 。 d ) = ln ⁡ L ( θ 。 d ) = ∑ i = 1 n ln ⁡ f ( X = d i 。 θ ) {\displaystyle l({\boldsymbol {\theta }}|{\boldsymbol {d}})=\ln {L({\boldsymbol {\theta }}|{\boldsymbol {d}})}=\sum _{i=1}^{n}\ln {f(X=d_{i}|{\boldsymbol {\theta }})}}

すなわちあるデータ群に対するモデルの尤度関数は、各観測値に対する尤度関数の積(対数尤度の場合は和)となる。

最尤法では対数尤度関数を最大化する θ {\displaystyle {\boldsymbol {\theta }}} が最尤推定値 θ ^ {\displaystyle {\hat {\boldsymbol {\theta }}}} として定まる。このとき θ ^ {\displaystyle {\hat {\boldsymbol {\theta }}}} は次の極値条件を満たす。 ∂ ∂ θ l ( θ 。 d ) = 0 {\displaystyle {\frac {\partial }{\partial {\boldsymbol {\theta }}}}l({\boldsymbol {\theta }}|{\boldsymbol {d}})=\mathbf {0} }

この方程式を尤度方程式という。左辺の勾配ベクトル: S ( d , θ ) := ∂ ∂ θ l ( θ 。 d ) {\displaystyle \mathbf {S} ({\boldsymbol {d}},{\boldsymbol {\theta }}):={\frac {\partial }{\partial {\boldsymbol {\theta }}}}l({\boldsymbol {\theta }}|{\boldsymbol {d}})}

は、スコア関数、もしくは単にスコアと呼ばれる。多くの場合、最尤推定値の推定は、尤度方程式を解く問題、すなわち、スコアをゼロとするパラメータθ∈ Θを求める問題に帰着する。

正規分布

Xi (i=1,..,n)が平均をμ、分散をσ2とする正規分布に従うとする(X ∼ N(μ, σ2))。このとき、対数尤度関数は l ( μ , σ 2 , x ) = − n 2 ln ⁡ 2 π − n 2 ln ⁡ σ 2 − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 {\displaystyle l(\mu ,\sigma ^{2},\mathbf {x} )=-{\frac {n}{2}}\ln {2\pi }-{\frac {n}{2}}\ln {\sigma ^{2}}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}

であり、尤度方程式は ∂ l ( μ , σ 2 , x ) ∂ μ = 1 σ 2 ∑ i = 1 n ( x i − μ ) = 0 {\displaystyle {\frac {\partial l(\mu ,\sigma ^{2},\mathbf {x} )}{\partial \mu }}={\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )=0} ∂ l ( μ , σ 2 , x ) ∂ σ 2 = − n 2 σ 2 + 1 2 ( σ 2 ) 2 ∑ i = 1 n ( x i − μ ) 2 = 0 {\displaystyle {\frac {\partial l(\mu ,\sigma ^{2},\mathbf {x} )}{\partial \sigma ^{2}}}=-{\frac {n}{2\sigma ^{2}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}=0}

となる。これらを整理すると最尤推定値として μ ^ = 1 n ∑ i = 1 n x i {\displaystyle {\hat {\mu }}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}} σ 2 ^ = 1 n ∑ i = 1 n ( x i − μ ) 2 {\displaystyle {\hat {\sigma ^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}

を得る。
ワイブル分布

Xi (i=1,..,n)が形状パラメータをβ、尺度パラメータをηとするワイブル分布に従うとする。このとき、対数尤度関数は l ( η , β , x ) = n ln ⁡ β − n β ln ⁡ η + ( β − 1 ) ∑ i = 1 n ln ⁡ x i − 1 η β ∑ i = 1 n x i β {\displaystyle l(\eta ,\beta ,\mathbf {x} )=n\ln {\beta }-n\beta \ln {\eta }+(\beta -1)\sum _{i=1}^{n}\ln {x_{i}}-{\frac {1}{\eta ^{\beta }}}\sum _{i=1}^{n}x_{i}^{\beta }}

であり、尤度方程式は ∂ l ( η , β , x ) ∂ η = − n β η − β η ( β + 1 ) ∑ i = 1 n x i β = 0 {\displaystyle {\frac {\partial l(\eta ,\beta ,\mathbf {x} )}{\partial \eta }}=-{\frac {n\beta }{\eta }}-{\frac {\beta }{\eta ^{(\beta +1)}}}\sum _{i=1}^{n}x_{i}^{\beta }=0} ∂ l ( η , β , x ) ∂ β = n β − n ln ⁡ η + ∑ i = 1 n ln ⁡ x i + ln ⁡ η η β ∑ i = 1 n x i β + 1 η β ∑ i = 1 n ln ⁡ x i x i β = 0 {\displaystyle {\frac {\partial l(\eta ,\beta ,\mathbf {x} )}{\partial \beta }}={\frac {n}{\beta }}-n\ln {\eta }+\sum _{i=1}^{n}\ln {x_{i}}+{\frac {\ln {\eta }}{\eta ^{\beta }}}\sum _{i=1}^{n}x_{i}^{\beta }+{\frac {1}{\eta ^{\beta }}}\sum _{i=1}^{n}\ln {x_{i}}x_{i}^{\beta }=0}


次ページ
記事の検索
おまかせリスト
▼オプションを表示
ブックマーク登録
mixiチェック!
Twitterに投稿
オプション/リンク一覧
話題のニュース
列車運行情報
暇つぶしWikipedia

Size:57 KB
出典: フリー百科事典『ウィキペディア(Wikipedia)
担当:undef