ABテストの手法まとめ｜クラシックABテストから多変量テストまで選び方を解説

ABテストの手法を「全部同じ」と思っている担当者は少なくありません。しかし、目的とサイト規模に合わない手法を選ぶと、正しい結論を得るまでに何倍もの時間とコストがかかります。

私たちが200社以上の支援で蓄積した実績から、手法の選択ミスによる失敗は全テスト失敗の約25%を占めています。特に多いのが「トラフィックが足りないのにMVT（多変量テスト）を実施する」パターンです。

手法の選択を誤らないだけで、テスト全体の効率が大幅に変わります。

ABテストの手法として最も基本かつ確実なのがクラシックA/Bテストです。A（現行）とB（改善案）を50/50でトラフィック分割し、CVRを比較します。仮説が明確で検証対象が1要素に絞られている場合に最適であり、結果の解釈も明快です。

私たちの全テスト実績のうち、約75%がクラシックA/Bテストで実施されています。理由は単純で、ほとんどの改善仮説は1要素の変更で検証可能であり、シンプルな手法ほど判定ミスが少ないからです。

クラシックA/Bテストが最適な場面

• CTAボタンのコピー変更（例：「無料で試す」→「今すぐ始める」）
• ファーストビューの訴求軸変更（例：ベネフィット訴求→課題解決訴求）
• フォームのステップ数変更（例：1画面→2ステップ分割）
• 信頼性コンテンツの追加検証（例：導入事例の有無）

実績値： クラシックA/Bテストで訴求軸を変更した場合の平均CVR改善幅は+0.5〜1.5%、CTAコピー変更では+0.2〜0.5%です。大きな改善を狙うなら訴求軸から、段階的な改善を積み上げるならコピーやUIから手を付けることを推奨します。

初めてABテストに取り組む組織には、まずクラシックA/Bテストで成功体験を積むことを強く推奨します。基本手法で成果を出せないまま高度な手法に手を出しても、運用が回りません。

ABテストの手法のうち、多変量テスト（MVT）は複数要素の組み合わせ効果を同時に検証できる高度な手法です。ヘッドライン・画像・CTAの3要素をそれぞれ2バリエーション用意すると、2×2×2＝8パターンの組み合わせを同時にテストできます。

しかし、私たちの実務経験から言えば、MVTが適切に機能するサイトは全体の10%程度です。理由は明確で、必要サンプル数が爆発的に増加するためです。

MVTのサンプル数問題

私たちの判断基準： 月間セッション10万以上のサイトでのみMVTを検討します。それ以下の場合、クラシックA/Bテストを要素ごとに順番に実施する方が、結果的に速く正確な結論に到達します。

MVTを選択する場合も、全組み合わせテストではなくタグチメソッド（直交配列）を使って必要パターン数を削減することを推奨します。あるECサイトでは、27パターンの全組み合わせテストを9パターンに削減し、テスト期間を3分の1に短縮しました。

ABテストの手法として、LPの全面リニューアルや大幅な構成変更を検証する場合に選択するのがスプリットURLテストです。現行LPのURLと新LPのURLを別々に用意し、トラフィックを分割して比較します。

インページテストとスプリットURLテストの使い分け

私たちの実績では、LP全面リニューアルの検証にスプリットURLテストを使用した場合のCVR改善幅は平均+1.5〜3.0%と大きく、インページテストの平均+0.3〜0.8%を大きく上回ります。リニューアル投資の正当化にも使えるため、予算承認のエビデンスとしても有効です。

実務上の注意点： スプリットURLテストでは、新LPのURLがGoogleにインデックスされないようnoindexタグを設定するか、canonical URLを現行LPに向けてください。SEO観点の考慮を忘れると、重複コンテンツの問題が生じます。VWO・OptimizelyではスプリットURL設定が標準で用意されています。

ABテストの手法の中で、近年注目を集めているのがバンディットアルゴリズムです。従来のA/Bテストは検証期間中、負けているバリエーションにも50%のトラフィックを流し続けるため、機会損失が発生します。バンディットアルゴリズムはリアルタイムで成績の良いバリエーションにトラフィックを傾け、テスト中の機会損失を最小化します。

私たちの運用では、以下の場面でバンディットアルゴリズムを選択しています。

バンディットが有効な場面

• セール・キャンペーン期間中の短期最適化 — 2〜3日で結果を出す必要がある
• 季節商品のLP最適化 — テスト期間を長く取れない
• 広告ランディングページの初期最適化 — 広告費の無駄遣いを最小化したい

バンディットが不適切な場面

• 厳密な統計的結論が必要な場合 — バンディットは「最適化」であり「検定」ではない
• 学びの蓄積が目的の場合 — トラフィック配分が偏るため、負けバリエーションの分析精度が落ちる

curumiの使い分け基準： 「学び」が目的ならクラシックA/Bテスト、「売上最大化」が目的ならバンディット。両方が必要なら、最初の2週間はA/Bテスト（50/50）で学び、その後バンディットに切り替えて売上を最大化するハイブリッド運用を採用しています。

ABテストの手法は「何を検証するか」と「どれだけのトラフィックがあるか」で選択が決まります。手法選択を間違えるだけでテスト全体が無駄になるため、テスト設計の最初のステップとして手法選定を明確に位置づけることが重要です。

• 月間1〜5万セッション → クラシックA/Bテストを1要素ずつ検証する。これが最も確実な手法
• 月間10万セッション以上 → MVT・バンディットも有力な選択肢に加える
• LP全面リニューアル → スプリットURLテストで投資判断の根拠を作る
• 短期間での売上最大化 → バンディットアルゴリズムを活用する

curumiでは現状のサイト規模・課題・目的を踏まえて、最適な手法を選定した上でテスト設計を行います。「どの手法を使えばいいか分からない」という段階からサポートしていますので、まずは現状のサイトデータをお持ちの上、お気軽にご相談ください。