ABテストを行う際、「AとBでクリック率に差があったけど、それって本当に意味があるの？」という疑問が出てきますよね。 その疑問に答えるのが、「標準誤差」「Z値」「P値」という統計的な指標です。
標準誤差とは？
ある確率 $P$ の現象（例：クリックされる確率）について、サンプル数 $n$ に対するばらつきを表すのが標準誤差 $\sigma$ です。
$$\sigma=\sqrt{\dfrac{P(1-P)}{n}}$$
ABテストでの応用
- パターンAのクリック率：$P_A$
- パターンBのクリック率：$P_B$
- サンプル数：それぞれ $n_A$、$n_B$
全体の平均クリック率（プール確率）は次のように求めます：
$$P = \dfrac{n_A P_A + n_B P_B}{n_A + n_B}$$
このときの標準誤差は：
$$\sigma=\sqrt{P(1-P) \left( \dfrac{1}{n_A} + \dfrac{1}{n_B} \right) }$$
Z値とは？
パターンAとBのクリック率の差が、標準誤差の何倍か？を表すのがZ値です：
$Z = \dfrac{ P_A – P_B }{\sigma}$
P値とは？信頼区間との関係
Z値が導かれたら、「それが偶然どれくらい起こる確率か？」を表すのが P値。 そして「その差が統計的に有意かどうか」の判断に使います。
| P値 | 信頼区間 | Z値（両側検定） |
|---|---|---|
| 0.20 | 80% | ±1.28 |
| 0.15 | 85% | ±1.44 |
| 0.10 | 90% | ±1.645 |
| 0.05 | 95% | ±1.96 |
| 0.01 | 99% | ±2.576 |
ExcelやGoogleスプレッドシートでのP値の求め方
難しい数式を使わなくても、Z値がわかれば以下の関数でP値を計算できます：
=2 * (1 - NORM.S.DIST(ABS("Z値"), TRUE))
身近な感覚としての「5％」「20％」
実は、P値の5％という水準って、案外わたしたちの生活感覚とリンクしていたりします。
たとえば小中学生のころ、「学年でみんなが好きになるような人気者」って、だいたい20人に1人、全体の5％くらいだった気がしませんか？ 日本人の左利きの割合も5%くらい。 逆に、クラスで「よく一緒に遊ぶ同性の友達」は5人に1人＝20％くらい。 この「ちょっと特別」な割合が、統計にも出てくるんです。
仕事でも似た感覚があって、
- 5案出せば、そこそこいいアイデアが1つくらいは出る
- 20案出せば、これはイケる！って案が1つくらい出る
そんな体感、ありませんか？
統計のP値や信頼区間はあくまで理論的なものですが、 自分の体感値とリンクさせることで、数字がぐっと身近に感じられるようになります。
まとめ
ABテストで差が「偶然なのか」「有意な違いなのか」を判断するために、
- 標準誤差：ばらつきの度合い
- Z値：差が標準誤差の何倍か
- P値：その差が偶然起きる確率
を順にチェックするのが基本です。