ABテストに必要な母数（サンプルサイズ）の計算方法と目安

ABテストの「母数」とは何か

ABテストにおける母数とは、テスト結果の信頼性を担保するために必要なサンプルサイズ（参加ユーザー数）を指します。私たちが200社以上のLP改善を支援してきた中で断言できるのは、母数設計の甘さがABテスト失敗の最大原因だということです。

各パターン50人程度でテストを終了し「Bの方がCVRが高い」と判断するケースを頻繁に目にしますが、この規模ではCVR差0.5ポイント程度の改善を検出する検定力はわずか8〜12%しかありません。つまり、本当に効果がある施策でも約9割の確率で「差なし」と誤判断します。

ABテストの母数は「十分に集まったら終わり」ではなく、テスト開始前に統計的根拠をもって設計するものです。この前提を外すと、どれだけテストを繰り返しても有効な知見は蓄積されません。

ABテストの母数を正しく設計するには、サンプルサイズの事前計算が不可欠です。私たちのチームでは全案件でテスト設計書にこの計算結果を必ず記載しています。

具体例を示します。CVR 2.0% のLPで 相対20%改善（0.4ポイント） を検出したい場合、各パターンに必要なサンプル数は約4,800セッションです。CVR 5.0% のページで同じ相対改善率なら約1,800セッションまで減ります。

計算には Evan Miller のサンプルサイズ計算機が実用的ですが、私たちは社内スプレッドシートにベースCVRとMDEを入力すれば自動算出される仕組みを構築しています。手計算に頼ると設計漏れが起きるため、仕組み化を強く推奨します。

ABテストの母数が不足した状態で結論を出すと、2種類の統計的エラーが高確率で発生します。私たちのクライアント監査で過去のテスト結果を再検証した際、全テストの約35%がサンプル不足による誤判断だったことが判明しました。

エラーの種類	内容	実務で起きた事例
偽陽性（Type I Error）	差がないのに「Bが優れている」と誤判断	CTA変更で「CVR +30%」と判定→本番適用後に元のCVRに戻った
偽陰性（Type II Error）	本当は差があるのに「差なし」と誤判断	実際にはCVR +18%の改善効果がある施策を不採用にしていた

特に深刻なのは偽陰性です。効果のある施策を「差なし」で却下し続けると、改善機会の損失が積み重なり、年間で数百万円規模の逸失利益になるケースもあります。

月間3,000UU以下のページでは、母数確保に2〜3ヶ月かかることも珍しくありません。その場合はテスト対象ページの統合やトラフィック誘導の増強を先に行い、テスト可能な環境を整えてから着手する判断が重要です。

ABテストの母数設計で最も実用的なステップは、必要サンプル数と月間トラフィックから所要期間を逆算することです。私たちはクライアントへの提案時に必ずこの逆算表を提示し、テスト実施の現実性を事前に共有しています。

ここで重要なのは曜日・季節変動の排除です。私たちの運用ルールでは、計算上の必要期間に関わらず最低2週間（1ビジネスサイクル以上）を確保し、可能であれば4週間を標準としています。

月間UUが5,000未満のページでは、必要期間が2ヶ月を超えるケースが多発します。この場合、テスト期間中に外部環境が変化するリスクが高まるため、MDEを相対30%程度に緩和して必要母数を下げるか、テスト対象を高トラフィックページに変更する判断を推奨します。

ABテストの母数設計は、テスト計画の最初に行うべき工程です。私たちが支援するプロジェクトでは、母数設計なしにテストを開始することは一切ありません。

テスト開始前に以下の4点を整理してください。

curumiでは母数計算からテスト設計、結果の統計的検証まで一貫して伴走し、判断ミスのないABテスト運用を実現しています。母数設計に不安がある場合は、ぜひ一度ご相談ください。