統計学における、多重比較、多重性、多重検定の問題は、複数の統計的推論を同時に検討したり[1]、観測値に基づいて選択されたパラメータのサブセットを推論したりするときに発生する[2]。

推論が多くなればなるほど、誤った推論の可能性が高くなる。この問題に対処するため、様々な統計的手法が開発されている。典型的な方法としては、行われる推論の数を補うように、個々の比較に対してより厳しい有意水準を要求する方法がある。
歴史

多重比較の問題は、1950年代にジョン・テューキーやヘンリー・シェッフェなどの統計学者の研究によって注目されるようになった。その後数十年にわたって、この問題に対処するために多くの手続きが開発された。1996年には、多重比較の取り扱いに関する最初の国際会議がテルアビブで開催された[3]。
定義

多重比較は、ある統計分析が複数の統計検定を同時に含み、その各々が何かしらの「発見」をもたらす可能性があるときに生じる。一般な分析の際には、個別の検定に信頼基準を設定し、設定された信頼基準は各々の検定にのみ適用されるが、多くの場合、同時に行われる検定の系列全体に対する一律の信頼水準を持つことが望ましい[4]。多重検定の補正に失敗すると、以下の例で示されるように、実際に重要な結果を招く可能性がある。

処置群は生徒に新しい方法でライティングを教えた群で、対照群は標準的なライティングの教え方を使った群だとする。2つのグループの生徒は、文法、スペル、構成、内容などの点で比較することができる。より多くの項目を比較すると、標本誤差だけで、少なくとも1つの項目で処置群と対照群が異なるように見える可能性が高くなる。


ある薬の有効性を、いくつかの病気の症状のどれか1つの軽減という観点から考えるとする。より多くの症状を考慮すればするほど、少なくとも1つの症状において、その薬が既存の薬より改善されているように見える可能性が高くなる。

どちらの例でも、比較の数が増えるにつれて、比較されるグループが少なくとも1つの項目に関して異なって見える可能性が高くなる。ある結果が独立したデータによって一般化されるという確信は、一般的に、単一の比較のみを行った分析よりも、複数の比較を含む分析の一部として観察された場合の方が弱くなるはずである。

たとえば、1つの検定が有意水準5%で実施され、対応する帰無仮説が真であれば、帰無仮説を誤って棄却するリスクは5%だけである。しかし、100個の検定がそれぞれ有意水準5%で実施され、対応する帰無仮説がすべて真である場合、予想される不正確な棄却（偽陽性または第一種過誤としても知られる）の数は5つになる。また、検定が互いに統計的に独立している（すなわち、独立標本で実施されている）場合、誤った棄却が少なくとも1つある確率は約99.4%になる。

このような多重検定で発生する偽陽性率の上昇や網羅率の低下を防ぐ手法が開発されている。
多重仮説検定の分類

次の表は、複数の帰無仮説を検定するときに起こりうる結果を定義したものである。m個の帰無仮説があるとし、それぞれをH1, H2, ..., Hm.で表す。統計的検定を用いて、検定が有意であると宣言された場合、帰無仮説を棄却する。検定が有意でない場合は、帰無仮説を棄却しない。すべてのHi にわたって各検定結果を合計すると、以下の確率変数が得られる。

帰無仮説が真であるケースの数 (H0)対立仮説が真であるケースの数 (HA)合計
有意であるとされた検定の数VSR
有意でないとされた検定の数UT m − R {\displaystyle m-R}
合計 m 0 {\displaystyle m_{0}} m − m 0 {\displaystyle m-m_{0}} m


m は検証された仮説の総数

m 0 {\displaystyle m_{0}} は、真の帰無仮説の数で、未知のパラメータ

m − m 0 {\displaystyle m-m_{0}} は、真の対立仮説の数

V は、偽陽性（第一種過誤）の数（「偽の発見」とも呼ばれる）

S は、真陽性の数（「真の発見」ともいう）

T は、偽陰性（第二種過誤）の数

U は、真陰性の数

R = V + S {\displaystyle R=V+S} は、棄却された帰無仮説（「発見」とも呼ばれ、真または偽のいずれか）の数

m個の仮説検定のうち、 m_{0} は真の帰無仮説で、R は観察可能な確率変数、S, T, U, V は観察不可能な確率変数である。
制御手順詳細は「ファミリーワイズエラー率#制御手順」を参照@media all and (max-width:720px){body.skin-minerva .mw-parser-output div.mw-graph{min-width:auto!important;max-width:100%;overflow-x:auto;overflow-y:visible}}.mw-parser-output .mw-graph-img{width:inherit;height:inherit}.mw-parser-output .ambox{border:1px solid #a2a9b1;border-left:10px solid #36c;background-color:#fbfbfb;box-sizing:border-box}.mw-parser-output .ambox+link+.ambox,.mw-parser-output .ambox+link+style+.ambox,.mw-parser-output .ambox+link+link+.ambox,.mw-parser-output .ambox+.mw-empty-elt+link+.ambox,.mw-parser-output .ambox+.mw-empty-elt+link+style+.ambox,.mw-parser-output .ambox+.mw-empty-elt+link+link+.ambox{margin-top:-1px}html body.mediawiki .mw-parser-output .ambox.mbox-small-left{margin:4px 1em 4px 0;overflow:hidden;width:238px;border-collapse:collapse;font-size:88%;line-height:1.25em}.mw-parser-output .ambox-speedy{border-left:10px solid #b32424;background-color:#fee7e6}.mw-parser-output .ambox-delete{border-left:10px solid #b32424}.mw-parser-output .ambox-content{border-left:10px solid #f28500}.mw-parser-output .ambox-style{border-left:10px solid #fc3}.mw-parser-output .ambox-move{border-left:10px solid #9932cc}.mw-parser-output .ambox-protection{border-left:10px solid #a2a9b1}.mw-parser-output .ambox .mbox-text{border:none;padding:0.25em 0.5em;width:100%;font-size:90%}.mw-parser-output .ambox .mbox-image{border:none;padding:2px 0 2px 0.5em;text-align:center}.mw-parser-output .ambox .mbox-imageright{border:none;padding:2px 0.5em 2px 0;text-align:center}.mw-parser-output .ambox .mbox-empty-cell{border:none;padding:0;width:1px}.mw-parser-output .ambox .mbox-image-div{width:52px}html.client-js body.skin-minerva .mw-parser-output .mbox-text-span{margin-left:23px!important}@media(min-width:720px){.mw-parser-output .ambox{margin:0 10%}}

現在、技術上の問題で一時的にグラフが表示されなくなっています。
少なくとも1つの帰無仮説が誤って棄却される確率を独立検定の数 m {\displaystyle m} の関数として表したもの。有意水準 = 0.05の場合。

多重検定補正とは、多重検定の問題を解決するために統計的検定をより厳しくすることである。最もよく知られているのはボンフェローニ補正であるが、他の方法も開発されている。このような方法は通常、ファミリーワイズエラー率（FWER）または偽発見率（FDR）をコントロールするように設計されている。m個の独立した比較が実行される場合、ファミリーワイズエラー率は次式で与えられる。 α ¯ = 1 − ( 1 − α { per comparison } ) m . {\displaystyle {\bar {\alpha }}=1-\left(1-\alpha _{\{{\text{per comparison}}\}}\right)^{m}.}