[統計]統計学でいう、検定の繰り返しと多重比較についての質問です。

[統計]統計学でいう、検定の繰り返しと多重比較についての質問です。 例えば学校のクラスがA〜Bの3つあって、国語の平均点を比較して「クラスによって国語の成績が異なるか」を調べるため、分散分析を行ったとします。 クラスの効果が有意であったとしても、A⇔B、B⇔C、C⇔Aのどの組み合せ間に有意差があるのかは分からないわけですが、ここで全ての組み合わせについてt検定を繰り返すと第一種の過誤を犯す危険が増えるので、Tukey法などの多重比較を行うようにと教科書には書かれています。 「A=B=C」という帰無仮説を棄却するということは、「A=B」「B=C」「C=A」という3つの帰無仮説のうち少なくとも1つを棄却するということに等しく、3つのうち少なくとも1つが棄却される確率は、「A=B」という1つの帰無仮説が棄却される確率よりは高いだろうから、有意水準の調整が必要だという話はわかります。 しかし疑問があって、それはあくまで「A=B=C」という全体の帰無仮説との整合性にこだわっているから生じる問題であって、「全部同じかどうか」に興味はなく、単にA⇔B間に差があるかどうかを知りたいのだという人がいた場合は、普通にA⇔Bのt検定を行えば良いような気がします。 つまり、 ・全体仮説と部分仮説があり、 ・部分仮説が「少なくとも1つ」棄却されると全体仮説も自動的に棄却されるという関係があり、 ・関心があるのはあくまで全体仮説のほうである という場合にのみ、部分仮説の検定の繰り返しが問題になるのであって、全体仮説にそもそも関心がなければ繰り返しの問題は気にしなくていい……と思って、そういう内容をブログに書きました。 http://statsbeginner.hatenablog.com/entry/2014/11/01/140721 しかし、よく考えるとおかしいということに気づきました。 いまA群とB群のデータだけがあって、t検定したらA⇔B間に有意差がありましたというときに、後からC群のデータが追加された場合、有無を言わさず「A=B=C」を棄却したいところですが、多重比較のロジックだと、さっき棄却したばかりの「A=B」が今度は棄却されない可能性も出てきますよね? これはどういうことなんでしょうか。 新たにC群が見つかって情報が増え、全体の誤差が増えたので、「A=B」の検定についても見なおさなければならないと理解すればいいのでしょうか?

数学3,675閲覧xmlns="http://www.w3.org/2000/svg">100

1人が共感しています

ベストアンサー

1

なんだか,揚げ足取りみたいで,申し訳ありませんが,ブログで >伝統的にまず分散分析→有意だったら多重比較 というのは,伝統ではなく,きちんと方法を理解してない人の説明です。 もしかして,ご存知かもしれませんが,滋賀医大・小山氏の解説に,参考になる点があります。 http://www.shiga-med.ac.jp/~koyama/stat/com-ph.html 特に注意が必要なのは,小山氏も書いていますが,ANOVAと多重検定は、そもそも検定の目的が異なり,前者で有意でなくても,後者では有意となる場合があることです。 この点は,統計ソフト Prism の解説も参照 http://graphpad.com/guides/prism/6/statistics/index.htm?stat_results_post_tests_2.htm さらに,ブログでの誤解 >3群以上になると分散分析 2群以上,です。ここが,しばしば誤解される点です。 もちろん,2群で分散分析するとt検定の結果と同じになります。Rなどでやってみると分かります。だから,研究者によっては,t検定は不要,と言う人もいます。 さらに,検定法として問題があるのは >2つのクラスの担任の先生の教育能力は等しい に対して >有意水準の調整が必要だ これは多重検定ではなく,2要因混合モデルの分散分析の対象です。 要因A:クラス2水準 要因B:各生徒に対して,教科4水準 >2つのクラスの担任の先生の教育能力は等しい を棄却するのに,多重検定は不要です。 質問に関して >後からC群のデータが追加された場合 >有無を言わさず「A=B=C」を棄却したい なぜ? 最初から,AB間だけ興味があれば,そこだけ検定すれば良いことになります。 これに関連して,別の質問での私の回答も参照 http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q10110537570 例えば,最初から,AB間だけに関心があれば,Cが加わったとしても,ABだけ検定すれば良い。 これを多重検定の点から言えば,Bonferroni法で1ヶ所だけ比較するので t検定のp値 / 1 = t検定のp値そのもの と考えれば良いと分かります。 以下の論文も参照 小野秀樹(2003) 多重比較 : 薬理データの統計解析における Bonferroni 補正法のメリット・デメリット ト

1人がナイス!しています

それから,質問では,t検定と分散分析の関係にのみ注目していますが,例えば,A,B,C の3クラスで,全平均(学年平均)と比べて,有意に異なるかどうか,という検定もできます。カイ二乗検定で残差分析をすることに似た方法です。 これを,Analysis of Means (ANOM) と言います。例えば,次のサイト参照 http://www.wludyka.com/anom.html

ThanksImg質問者からのお礼コメント

ありがとうございました。 まだ勉強は足りませんが、いろいろ疑問が解消しました。 (本質問をご覧になる方は、返信欄でのやりとりも含めてご確認ください)

お礼日時:2014/11/3 9:05