ここから本文です

[統計]統計学でいう、検定の繰り返しと多重比較についての質問です。

すたつさん

2014/11/120:47:17

[統計]統計学でいう、検定の繰り返しと多重比較についての質問です。

例えば学校のクラスがA〜Bの3つあって、国語の平均点を比較して「クラスによって国語の成績が異なるか」を調べるため、分散分析を行ったとします。
クラスの効果が有意であったとしても、A⇔B、B⇔C、C⇔Aのどの組み合せ間に有意差があるのかは分からないわけですが、ここで全ての組み合わせについてt検定を繰り返すと第一種の過誤を犯す危険が増えるので、Tukey法などの多重比較を行うようにと教科書には書かれています。

「A=B=C」という帰無仮説を棄却するということは、「A=B」「B=C」「C=A」という3つの帰無仮説のうち少なくとも1つを棄却するということに等しく、3つのうち少なくとも1つが棄却される確率は、「A=B」という1つの帰無仮説が棄却される確率よりは高いだろうから、有意水準の調整が必要だという話はわかります。

しかし疑問があって、それはあくまで「A=B=C」という全体の帰無仮説との整合性にこだわっているから生じる問題であって、「全部同じかどうか」に興味はなく、単にA⇔B間に差があるかどうかを知りたいのだという人がいた場合は、普通にA⇔Bのt検定を行えば良いような気がします。
つまり、

・全体仮説と部分仮説があり、
・部分仮説が「少なくとも1つ」棄却されると全体仮説も自動的に棄却されるという関係があり、
・関心があるのはあくまで全体仮説のほうである

という場合にのみ、部分仮説の検定の繰り返しが問題になるのであって、全体仮説にそもそも関心がなければ繰り返しの問題は気にしなくていい……と思って、そういう内容をブログに書きました。
http://statsbeginner.hatenablog.com/entry/2014/11/01/140721

しかし、よく考えるとおかしいということに気づきました。
いまA群とB群のデータだけがあって、t検定したらA⇔B間に有意差がありましたというときに、後からC群のデータが追加された場合、有無を言わさず「A=B=C」を棄却したいところですが、多重比較のロジックだと、さっき棄却したばかりの「A=B」が今度は棄却されない可能性も出てきますよね?
これはどういうことなんでしょうか。
新たにC群が見つかって情報が増え、全体の誤差が増えたので、「A=B」の検定についても見なおさなければならないと理解すればいいのでしょうか?

閲覧数:
3,666
回答数:
1
お礼:
100枚

違反報告

ベストアンサーに選ばれた回答

2014/11/122:44:05

なんだか,揚げ足取りみたいで,申し訳ありませんが,ブログで
>伝統的にまず分散分析→有意だったら多重比較
というのは,伝統ではなく,きちんと方法を理解してない人の説明です。

もしかして,ご存知かもしれませんが,滋賀医大・小山氏の解説に,参考になる点があります。
http://www.shiga-med.ac.jp/~koyama/stat/com-ph.html

特に注意が必要なのは,小山氏も書いていますが,ANOVAと多重検定は、そもそも検定の目的が異なり,前者で有意でなくても,後者では有意となる場合があることです。

この点は,統計ソフト Prism の解説も参照
http://graphpad.com/guides/prism/6/statistics/index.htm?stat_result...

さらに,ブログでの誤解
>3群以上になると分散分析
2群以上,です。ここが,しばしば誤解される点です。

もちろん,2群で分散分析するとt検定の結果と同じになります。Rなどでやってみると分かります。だから,研究者によっては,t検定は不要,と言う人もいます。

さらに,検定法として問題があるのは
>2つのクラスの担任の先生の教育能力は等しい
に対して
>有意水準の調整が必要だ

これは多重検定ではなく,2要因混合モデルの分散分析の対象です。

要因A:クラス2水準
要因B:各生徒に対して,教科4水準

>2つのクラスの担任の先生の教育能力は等しい
を棄却するのに,多重検定は不要です。

質問に関して
>後からC群のデータが追加された場合
>有無を言わさず「A=B=C」を棄却したい
なぜ?

最初から,AB間だけ興味があれば,そこだけ検定すれば良いことになります。

これに関連して,別の質問での私の回答も参照
http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1011053757...

例えば,最初から,AB間だけに関心があれば,Cが加わったとしても,ABだけ検定すれば良い。

これを多重検定の点から言えば,Bonferroni法で1ヶ所だけ比較するので
t検定のp値 / 1 = t検定のp値そのもの

と考えれば良いと分かります。

以下の論文も参照
小野秀樹(2003)
多重比較 : 薬理データの統計解析における Bonferroni 補正法のメリット・デメリット





  • 2014/11/123:08:07

    それから,質問では,t検定と分散分析の関係にのみ注目していますが,例えば,A,B,C の3クラスで,全平均(学年平均)と比べて,有意に異なるかどうか,という検定もできます。カイ二乗検定で残差分析をすることに似た方法です。

    これを,Analysis of Means (ANOM) と言います。例えば,次のサイト参照
    http://www.wludyka.com/anom.html

  • その他の返信を表示

返信を取り消しますが
よろしいですか?

  • 取り消す
  • キャンセル

質問した人からのコメント

2014/11/3 09:05:43

ありがとうございました。
まだ勉強は足りませんが、いろいろ疑問が解消しました。
(本質問をご覧になる方は、返信欄でのやりとりも含めてご確認ください)

みんなで作る知恵袋 悩みや疑問、なんでも気軽にきいちゃおう!

Q&Aをキーワードで検索:

Yahoo! JAPANは、回答に記載された内容の信ぴょう性、正確性を保証しておりません。
お客様自身の責任と判断で、ご利用ください。
本文はここまでです このページの先頭へ

「追加する」ボタンを押してください。

閉じる

※知恵コレクションに追加された質問は選択されたID/ニックネームのMy知恵袋で確認できます。

不適切な投稿でないことを報告しました。

閉じる