平均値の多重比較
分散分析は 2つ以上の平均値が全体として同じ値であるかどうかを検定しますが，ある要因に含まれる幾つかの水準の平均値のように，一連の平均値の間に差があるかどうかを検定する方法もあります。多重比較については，2通りの立場が考えられます。
- 事前比較 (a priori comparisons): 結果を分析する前に，理論的な背景などにより，比較する平均値についての仮説がある場合です。
- 事後比較 (post hoc comparisons): 比較する平均値についての明確な仮説がない場合です。
分散分析の主効果が有意である場合に事後比較を行うとする考え方があります。一方，分散分析と事後比較は目的が異なる分析であるので，それらを区別し，分散分析が有意であるかどうかにかかわらず事後比較を行うという考え方もあります (Howell, 2002, pp. 372-373)。どちらの立場にしても，分析の目的が重要であることには変わりありません。
多重比較のように，ひとまとまりの結論を導くために複数の比較を行う場合，それらの検定に第1種の過誤が少なくとも1つ含まれる割合 （familywise error rate） を一定の水準 （例えば，5%） に設定することが問題になります（Howell, 2002, pp.370-371）。
再生量について 5つの学習条件を比較した実験を想定して作成されたデータ (Howell , 2002, pp. 320-321) の平均値を比較します。
分析
- 分析メニューの平均値の比較から，一元配置分散分析を選択します。
- 対比は，事前比較に適しています。ここでは，記憶の再生量が条件1 と 2，および，条件3，4，5 でそれぞれ同じであるが，条件1，2 と比べると条件3，4，5 は異なるという仮説があると仮定します。
条件1，2，3，4，5 に対応する対比係数，-1.5，-1.5，1，1，1 を追加します。対比係数の合計が 0 になるようにします。
- その後の検定ボタンをクリックすると，多重比較の方法を選択できます。ここでは，最小有意差 （LSD） と Bonferroni （別名 Dunn 検定） と REGWQ (Ryan-Einot-Gabriel-Welsch の範囲) を選択します。
出力
- 分散分析表が出力されます。
- 対比の検定結果が出力されます。標準誤差は，分散分析における誤差項の平均平方から算出されています (
)。
- その後の検定で選択した方法による多重比較の結果が示されています。多重比較では，分散分析の誤差項から標準誤差が計算されています (
)。
LSD 法では有意水準 (あるいは有意確率) が比較数により調整されません。LSD 法が用いられるのは比較数が少ない場合に限られるでしょう。
Bonferroni の方法では，全体の有意水準 (familywise errer rate) の近似値を用いて，各比較の有意確率が調整されます。ここでは，5つの平均値を比較していますので，10個の平均値対についての検定が行われています。全体の有意水準 を一定にするために，Bonferroni の方法では各平均値対についての有意水準が全体の有意水準の 1/10 に設定されます。SPSS の出力では有意確率の値が 10倍されて表示されます。
- SPSS では出力されませんが，Howell (2002, pp. 386-388, p. 404） は，Bonferroni の方法に修正を加えて検定力を高めた Holm の方法を紹介しています。
Holm の方法では，多重比較のために計算された t 値 （平均値の差÷標準誤差） を大きさの順に並べかえます。
まず，もっとも大きな t 値についての無修正の有意確率を比較される平均値の対の数 （c） で乗じた値を用いて検定を行います。有意ならば，次に大きな t 値について，無修正の確率に c-1 をかけた値を用いて検定します。有意ならば，さらにその次の大きさの t 値について，c-2 でかけた確率を用いて検定を行います。ｔ 値が有意にならないところまで，この操作を繰り返します。
Holmの方法は，すべての対について比較するのではなく，いくつかの限定された平均値の比較や対比を検討するときに利用することが推奨されています（Howell, 2002, p. 404）。
- REGWQ法による多重比較の結果が示されています。この方法では，スチューデント化された範囲 （q） を用いて検定が行われます。
条件を平均値の大きさの順で並べ変えてから，有意差がない同一グループと有意差のあるグループとを識別します。検定結果は，条件1 と 2，および，条件3，5，4 がそれぞれ同じグループであることを示しています。
