その差は偶然か｜p値の読み方と、実務的に意味のある差

「有意差が出ました」で終わらせない

施策Aの成約率が10%、施策Bが11%。会議で「有意差が出ました、Bを採用しましょう」という報告が上がってくる。

ここで確認すべきことが2つあります。何件で検定したのか。そして、その1%の差は、動く価値があるのか。

この2つを聞かずに意思決定すると、たいてい後悔します。統計の知識が足りないからではなく、p値という指標が答えていない問いを、答えていると思い込むからです。

p値は「差がない確率」ではない

まず、最も広く共有されている誤解から片付けます。

p値が0.03だったとき、これは「差がない確率が3%」という意味ではありません。また「Bが優れている確率が97%」でもありません。

正しくは、こうです。

主語が違います。p値が語っているのは「差がないと仮定した世界での、データの珍しさ」であって、「差があるかどうかの確率」ではありません。

この違いは、言葉遊びではありません。p=0.03を「97%の確率で正しい」と読み替えた瞬間、判断の根拠が実際より強く見えてしまうからです。

同じ差でも、件数で結論が変わる

ここが実務でいちばん効く論点です。成約率10%と11%という同じ差を、件数だけ変えて検定してみます。

各群の件数	成約率	p値	結論
200件	10.0% vs 11.0%	0.744	有意でない
2,000件	10.0% vs 11.0%	0.302	有意でない
20,000件	10.0% vs 11.0%	0.001	有意

差の大きさは1ポイントで変わっていません。変えたのは件数だけです。それでも結論は「有意でない」から「有意」へひっくり返ります。

つまりp値は、差の大きさと件数の両方を混ぜた指標です。「有意差が出た」という報告だけでは、大きな差があったのか、単に件数が多かったのかが区別できません。

件数を増やせば、意味のない差でも有意になる

逆方向も確かめておきます。実務上まず無視してよい0.2ポイントの差で、件数だけを増やします。

各群の件数	成約率	p値	結論
1万件	10.00% vs 10.20%	0.656	有意でない
10万件	10.00% vs 10.20%	0.138	有意でない
100万件	10.00% vs 10.20%	0.000	有意

件数さえ集めれば、どんな小さな差でも「有意」にできます。大規模なWebサービスのA/Bテストで、すべての施策に有意差が出てしまうのはこのためです。

だから聞くべきは「有意かどうか」ではなく、「差はどれだけあったのか」になります。

「有意差なし」は「差がない」ではない

逆の誤解も同じくらい多く見かけます。

p値が0.4だったとき、「差はありませんでした」と報告するのは言いすぎです。正しくは「差があるとは言い切れませんでした」。

この2つは、実務上まったく違う意味を持ちます。

• 「差がない」：施策Bを採用する理由がない。現状維持でよい
• 「差があるとは言い切れない」：件数が足りず判断できていない。追加で検証する余地がある

先ほどの表を思い出してください。200件では「有意でない」でしたが、20,000件では「有意」でした。200件の時点で「差がない」と結論していたら、本当は存在した1ポイントの改善を捨てていたことになります。

件数が少ない検証で「有意差なし」が出たときは、結論ではなく、検証設計の見直しを促すサインと受け取るべきです。

効果量と、実務的に意味のある差

統計的有意と、経営判断として動かす価値があるかは、別の問いです。後者を判断するには、あらかじめ「どれだけ違えば動くか」を決めておく必要があります。

成約率の例で考えます。

• 10%が11%になる：成約数が10%増える。施策の導入コスト次第で十分に動く価値がある
• 10%が10.2%になる：成約数の増加は2%。システム改修に数百万円かかるなら、統計的に有意でも見送るべき

この判断基準は、データを取る前に決めておくのが正しい順序です。結果を見てから「これくらいなら意味がある」と後付けすると、都合のいい解釈が入ります。

検定の前に確かめること

p値そのものより手前に、結果を左右する条件があります。

群の分け方が偏っていないか

A/Bの振り分けが時間帯や地域で偏っていると、施策の差ではなく条件の差を測ってしまいます。平日と週末で分けた比較は、施策の比較ではありません。

途中で覗いて止めていないか

データを取りながら毎日検定し、有意になった時点で止める。これをやると偶然の有意を拾う確率が跳ね上がります。期間や件数は、始める前に決めておくべきものです。

いくつの仮説を試したか

20個の施策を検定すれば、本当は全部効果がなくても、平均1個は「有意」になります。有意水準5%とは、そういう意味です。たくさん試して1つだけ当たった、という報告は割り引いて聞く必要があります。

外れ値が結論を作っていないか

1件の極端な値で平均が動き、それが有意差を作っていることがあります。検定の前に分布を見る。これは平均を扱うときと同じ原則です。

与信・財務の場面でも同じことが起きる

ここまでA/Bテストを例にしてきましたが、同じ誤りは財務や与信の分析でも起きます。

「業界平均と比べて有意に低い」

自社の利益率が業界平均より低い、という分析。比較対象が何社のデータなのかで、意味の重さが変わります。5社の平均と500社の平均では、そもそも「業界平均」という言葉の信頼度が違います。

さらに、業界の定義次第で対象企業は入れ替わります。検定にかける前に、母集団が何かを確かめる。統計的な処理より手前の問題です。

「この施策で貸倒率が下がった」

与信基準を厳しくしたら、貸倒率が2.0%から1.6%に下がった。効果があった、と結論できるでしょうか。

件数が少なければ、この差は偶然の範囲に収まります。加えて、同じ期間に景気が良くなっていれば、施策の効果と景気の効果が混ざります。比較すべきは「施策の前後」ではなく、「施策を適用した群と、しなかった群」です。

前後比較は手軽ですが、時間の経過そのものが持ち込む変化を切り分けられません。これは検定の手法ではなく、比較の設計の問題です。

「相関があるから、原因だ」

広告費と売上に強い相関がある。だから広告を増やせば売上が伸びる。

この推論には穴があります。売上が伸びたから広告予算を増やしたという逆の因果でも、同じ相関が出るからです。あるいは、両方とも景気という第三の要因に引っ張られているだけかもしれません。

相関係数は2つの数字が一緒に動いたという事実しか示しません。どちらが原因かも、第三の要因があるかも、教えてくれません。

報告を受けるときの3つの質問

統計の計算そのものは、ツールが正しくやってくれます。判断を誤らないために必要なのは、次の3つを毎回聞くことです。

1. 「何件で検定しましたか」。件数が分かれば、有意の意味の重さが分かります
2. 「差はどれだけありましたか」。p値ではなく、実際の数字を出してもらいます
3. 「その差で、いくら変わりますか」。金額に翻訳して初めて、動く価値があるかを判断できます

3つ目が最も大事です。統計は差の有無までしか答えません。その差に投資する価値があるかどうかは、経営の判断です。ここを統計に肩代わりさせようとすると、必ずどこかで無理が出ます。

try the tool

STATLAB 統計分析ダッシュボード

平均の検定、母比率の検定、分散分析まで、CSVを読み込めばその場で計算します。p値だけでなく検定統計量と可視化も同時に出るので、差の大きさと件数の関係を目で確かめられます。処理はすべてブラウザ内で完結し、データは送信されません。

手元のデータで検定する →