ABテストの方法：基本的な考え方から整理する

ABテストは「AとBを用意して比べる」という単純な仕組みですが、正しい方法で実施しないと誤った結論を出してしまうリスクがあります。実際、マーケターの約40%がサンプルサイズ不足のまま結果を判断してしまうという調査結果もあります。

ABテストを正しく実施するには、以下の4原則を守ることが重要です。

  1. 1テスト1変更 — 複数要素を同時に変えない
  2. 事前にサンプルサイズを計算する — 何件集まったら判断するか決めておく
  3. 統計的有意差で判断する — 「何となく良さそう」ではなく信頼水準95%以上を目安に
  4. テスト記録を残す — 何が効いて何が効かなかったかを組織知識として蓄積する

これらの原則を前提に、具体的な実施手順を解説します。

ABテストの方法：準備フェーズ（Step 1〜3）

ABテストは実施前の準備が成果を大きく左右します。

Step 1: 課題の特定（データ分析）

まずGoogle Analytics 4（GA4）とヒートマップツールで現状を分析します。

  • GA4で確認すること:

    • ページ別CVR・直帰率・滞在時間
    • フォームのフィールド離脱率
    • モバイル vs. PC のCVR差

  • ヒートマップで確認すること（Microsoft Clarity等）:

    • スクロール到達率（どこまで読まれているか）
    • クリック分布（何が押されているか）
    • セッション録画（実際の操作を動画で確認）

Step 2: 仮説の設定

課題が特定できたら仮説を立てます。良い仮説の形式は以下の通りです。

「〔観察した課題〕があるため、〔変更内容〕にすると〔ターゲット指標〕が〔X%〕改善する」

例：「CTAボタンの文言が『送信する』で意図が伝わりにくいため、『無料で資料を受け取る』に変更するとフォーム送信率が20%向上する」

Step 3: 変更箇所の決定

仮説に基づき、変更する要素を1箇所だけ選びます。ファーストビュー → CTA → フォームの優先順位で選定してください。

ABテストの方法：実施フェーズ（Step 4〜6）

準備が整ったら実際のテストを進めます。

Step 4: サンプルサイズの計算

テスト開始前に「何セッション集まったら判断するか」を決めます。

必要サンプルサイズの目安:

現状CVR 検出したい改善幅 1パターンあたりの必要セッション
1% +50%（→1.5%） 約8,500
2% +25%（→2.5%） 約11,000
5% +20%（→6%） 約4,000
10% +15%（→11.5%） 約3,600

正確な計算は「Optimizely Sample Size Calculator」などの無料ツールを活用してください。

Step 5: ツールの設定とテスト開始

VWOやOptimizelyなどのABテストツールで以下を設定します。

  • トラフィック配分: 50:50（基本）
  • コンバージョンゴール: フォーム送信・購入完了などのイベント
  • テスト終了条件: 設定したサンプルサイズ到達時

Step 6: テスト中の注意事項

テスト中は変更を一切加えないのが鉄則です。途中でページを変更すると結果が汚染されます。また、結果を毎日確認して「良さそうだから早めに終わらせる」ピーキングは厳禁です。

ABテストの方法：結果分析フェーズ（Step 7〜8）

テスト終了後の結果分析の正しい方法を解説します。

Step 7: 統計的有意差の確認

ABテストの結果を判断する際は**p値（有意確率）**を必ず確認します。

p値 信頼水準 判断
0.10未満 90% 参考値（断定は避ける）
0.05未満 95% 通常の判断基準
0.01未満 99% 高確信で採用可能

CVR改善率だけでなく以下も確認:

  • 収益あたりのコンバージョン価値
  • モバイル・PCそれぞれの結果（デバイスで傾向が逆転することがある）
  • 流入元別の結果（広告 vs. SEO で異なる場合がある）

Step 8: 結果の記録と反映

勝者パターンを本番に反映後、以下を記録します。

  • テスト内容・仮説・変更前後の画像
  • 結果（CVR改善率・p値・改善幅）
  • 次の仮説への示唆

この記録が蓄積されると「自社LPで何が効くか」のナレッジが生まれ、以降のテスト精度が向上します。

ABテストが向かないケースと代替手法

ABテストはあらゆる状況に適する万能手法ではありません。以下のケースでは代替手法を検討してください。

ABテストが向かないケース

月間UUが少なすぎる場合（目安: テスト対象ページUU < 3,000/月） 統計的有意差が出るまでに数ヶ月〜1年以上かかります。この場合は定性的なユーザーインタビューやヒューリスティック評価が有効です。

LP全体をリニューアルしたい場合 ページを全面改修する場合は「バリアントBの全体リニューアル」として実施可能ですが、どの変更が効いたかは特定できません。まず全体リニューアルを実施し、その後に部分的なABテストで磨きをかけるアプローチがお勧めです。

代替・補完手法

  • 多変量テスト（MVT）: 複数要素を同時にテストし組み合わせ効果を検証。UUが非常に多い場合に有効
  • ユーザーインタビュー: 定性的な「なぜ」を明らかにする
  • ヒューリスティック評価: 専門家がUIのベストプラクティスと照合して課題を発見

まとめ：ABテストの方法を正しく実践してCVRを改善する

ABテストの方法をまとめると、成功の鍵は「準備8割・実施2割」です。しっかりとした仮説とサンプルサイズ計算があれば、テスト自体はツールが自動化してくれます。

  • データ分析 → 仮説設定 → サンプルサイズ計算 → 実施 → 有意差確認 → 記録のサイクルを守る
  • 1テスト1変更、期間は最低2週間
  • p値 < 0.05（信頼水準95%）で初めて判断する
  • 結果を記録し、組織の「LPOナレッジ」として蓄積する

月2件のABテストを1年継続すれば24件の検証ができ、CVR 20〜50%改善も現実的に達成できます。まず1件目の仮説を今日中に設定してみましょう。