この記事は英語版の対応するページ
を翻訳することにより充実させることができます。(2024年5月)翻訳前に重要な指示を読むには右にある[表示]をクリックしてください。リッジ回帰(リッジかいき、Ridge regression)は、独立変数が強く相関している場合に、重回帰モデルの係数を推定する方法[1]。計量経済学、化学、工学などの分野で使用されている[2]。
この理論は、1970年に Hoerl と ケナード が Technometrics の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介した[3][4][1]。これは、リッジ分析の分野における 10 年間の研究の結果だった[5]。
リッジ回帰は、線形回帰モデルに多重共線性がある(強く相関する独立変数がある)場合に最小二乗推定量が不正確になることを解決するために開発された。リッジ回帰推定量は、最小二乗推定量よりも精度が高い[6][2]。 n × 1 {\textstyle n\times 1} の列ベクトル y {\textstyle y} は n × p {\textstyle n\times p} の計画行列 X {\textstyle X} (通常は p ≪ n {\textstyle p\ll n} )の列空間に射影され、その列は高度に相関しているものとする。正射影 X β {\textstyle X\beta } を得るための係数 β ∈ R p × 1 {\textstyle \beta \in \mathbb {R} ^{p\times 1}} の最小二乗推定量 β ^ {\displaystyle {\widehat {\beta }}} は β ^ = ( X ′ X ) − 1 X ′ y {\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'y} それに対して、リッジ回帰推定量 β ^ ridge {\displaystyle {\widehat {\beta }}_{\text{ridge}}} は β ^ ridge = ( X ⊤ X + k I p ) − 1 X ⊤ y {\displaystyle {\widehat {\beta }}_{\text{ridge}}=(X^{\top }X+kI_{p})^{-1}X^{\top }y} ここで、 I p {\textstyle I_{p}} は p × p {\textstyle p\times p} の単位行列であり、 k > 0 {\textstyle k>0} は小さい値である。
数学的詳細
脚注[脚注の使い方]^ a b Hilt (1977年). “Ridge, a computer program for calculating ridge regression estimates
^ a b Gruber, Marvin (26 February 1998). Improving Efficiency by Shrinkage: The James?Stein and Ridge Regression Estimators. .mw-parser-output cite.citation{font-style:inherit;word-wrap:break-word}.mw-parser-output .citation q{quotes:"\"""\"""'""'"}.mw-parser-output .citation.cs-ja1 q,.mw-parser-output .citation.cs-ja2 q{quotes:"「""」""『""』"}.mw-parser-output .citation:target{background-color:rgba(0,127,255,0.133)}.mw-parser-output .id-lock-free a,.mw-parser-output .citation .cs1-lock-free a{background:url("//upload.wikimedia.org/wikipedia/commons/6/65/Lock-green.svg")right 0.1em center/9px no-repeat}.mw-parser-output .id-lock-limited a,.mw-parser-output .id-lock-registration a,.mw-parser-output .citation .cs1-lock-limited a,.mw-parser-output .citation .cs1-lock-registration a{background:url("//upload.wikimedia.org/wikipedia/commons/d/d6/Lock-gray-alt-2.svg")right 0.1em center/9px no-repeat}.mw-parser-output .id-lock-subscription a,.mw-parser-output .citation .cs1-lock-subscription a{background:url("//upload.wikimedia.org/wikipedia/commons/a/aa/Lock-red-alt-2.svg")right 0.1em center/9px no-repeat}.mw-parser-output .cs1-ws-icon a{background:url("//upload.wikimedia.org/wikipedia/commons/4/4c/Wikisource-logo.svg")right 0.1em center/12px no-repeat}.mw-parser-output .cs1-code{color:inherit;background:inherit;border:none;padding:inherit}.mw-parser-output .cs1-hidden-error{display:none;color:#d33}.mw-parser-output .cs1-visible-error{color:#d33}.mw-parser-output .cs1-maint{display:none;color:#3a3;margin-left:0.3em}.mw-parser-output .cs1-format{font-size:95%}.mw-parser-output .cs1-kern-left{padding-left:0.2em}.mw-parser-output .cs1-kern-right{padding-right:0.2em}.mw-parser-output .citation .mw-selflink{font-weight:inherit}ISBN 9780824701567. https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA2