ABテスト比較とは何を比較するのか
ABテストとは、WebページやLP（ランディングページ）の特定の要素を変えた複数のバリアントを用意し、どちらがより多くのコンバージョン（購入・問い合わせ等）を獲得するかを統計的に比較・検証する手法です。
ABテストで比較する主な指標：
- CVR（コンバージョン率）：最も重要な主指標
- クリック率（CTR）：CTAボタン等への反応
- 直帰率：ページの第一印象
- フォーム完了率：入力プロセスの改善効果
ABテストの比較において最も大切なのは、統計的に信頼できるデータが集まるまで判定しないことです。感覚でAを選ぶのではなく、「95%以上の確率でBが優れている」と言えるデータが揃ってから判断します。本記事では、ABテストの正しい比較方法と判断基準を解説します。
ABテストの比較方法｜基本的な設計
正確な比較結果を得るために、テスト設計の段階で以下の点を確認します。
正しいABテスト設計の原則
1. 変更は1要素のみ 複数の要素を同時に変えると「どの変更が効いたか」が判別できません。CTAボタンの色をテストするなら、文言・サイズ・位置はAとBで同じにします。
2. サンプルはランダムに分割 AとBにユーザーを割り振る際は、50:50のランダム分割が基本です。ツールが自動で処理しますが、時間帯・デバイス・流入元が偏らないよう注意。
3. テスト期間は最低2週間 1週間だと曜日による変動（平日vs週末）が影響します。最低2週間、理想は4週間以上。
4. コンバージョン数の目標 AとB合計で200件以上のコンバージョンが集まってから判定します（各100件以上）。
テスト前に決めておくこと
| 項目 | 設定例 |
|---|---|
| 比較する指標（主指標） | CVR（フォーム送信率） |
| 信頼水準 | 95%以上 |
| 最低サンプルサイズ | 各バリアント100コンバージョン |
| テスト期間 | 最低2週間 |
| 勝者採用の閾値 | 信頼水準95%＋相対改善10%以上 |
ABテスト結果の比較・判定方法
テスト結果の数字をどう読むか、具体的に解説します。
統計的有意差とは
「統計的有意差あり」とは、偶然ではなく本当に差があると判断できることを意味します。
よく使われる指標：
- 信頼水準（Confidence Level）95%：100回同じテストをすれば95回は同じ結果になる
- p値 < 0.05：偶然この結果が出る確率が5%未満
- ベイズ確率：「BがAより優れている確率が◯%」という直感的な表示
結果の読み方の例
| バリアント | セッション数 | コンバージョン数 | CVR |
|---|---|---|---|
| A（現行） | 2,000 | 40 | 2.0% |
| B（改善案） | 2,000 | 52 | 2.6% |
この場合、CVRは**2.0% → 2.6%（相対改善率30%）**の改善。しかし、これだけでは判断できません。統計的有意差（p値<0.05または信頼水準95%以上）を確認してから採用します。
判定でよくある誤り
誤り1：CVRが高い方を即座に採用 サンプル数が少ない状態でCVRが高くても、それは偶然の可能性があります。
誤り2：途中経過で「Bが勝っている」と判断 統計的有意差が出るまではどちらが優れているか分かりません。
ABテストの比較に使うツールと費用
ABテストを正確に比較・分析するためのツールと費用を紹介します。
ツール別特徴と料金
| ツール | 月額料金 | 統計エンジン | 特徴 |
|---|---|---|---|
| VWO | 5〜30万円 | ベイズ統計 | 日本語サポートあり、多機能 |
| AB Tasty | 5〜20万円 | ベイズ統計 | 直感的なUI |
| Convert | 3〜15万円 | フリークエンティスト | コスパ高い |
| Ptengine | 2〜10万円 | フリークエンティスト | 国産、EFO機能も |
無料で代替できるか
Googleが提供していたGoogle Optimize（2023年9月終了）の代替として、以下の方法もあります：
- GA4の実験機能（一部代替可能）
- Googleのサーバーサイドテスト（開発者が必要）
- WordPress用プラグイン（Nelio AB Testing等、月1〜3万円）
代行サービスとツールの使い分け
社内にABテストの知識がない場合は、ツールを導入するより**ABテスト代行サービス（月10〜50万円）**を活用する方が確実に成果が出ます。ツールの使い方よりテストの設計力が重要だからです。
ABテストと多変量テストの比較
ABテスト（A/Bテスト）に加えて、「多変量テスト（MVT）」という方法もあります。それぞれの違いを理解して使い分けましょう。
ABテストと多変量テストの違い
| 項目 | ABテスト | 多変量テスト |
|---|---|---|
| 変更要素数 | 1つ | 複数同時 |
| 必要サンプル数 | 少なくてOK | 非常に多く必要 |
| テスト期間 | 2〜4週間 | 1〜3ヶ月以上 |
| 費用 | 低〜中 | 中〜高 |
| 向いているケース | 特定要素の改善 | 複合的な最適化 |
使い分けの基準
ABテストが向いているケース
- 月間PV数が少ない（1万〜30万PV程度）
- 特定の1要素（CTAボタン、見出し等）を改善したい
- ABテスト初心者で基礎を習得したい
多変量テストが向いているケース
- 月間PV数が多い（30万PV以上）
- 複数の要素の組み合わせを最適化したい
- ある程度ABテストの経験がある
推奨： 最初はABテストで経験を積み、月間PVが増えてから多変量テストに移行するのがベストプラクティスです。
まとめ｜ABテスト比較は「統計」と「継続」が鍵
ABテストの比較において最も重要なのは、統計的有意差が出るまで判断を急がないことです。
正しいABテスト比較のチェックリスト：
- 変更は1要素のみ
- 各バリアント100コンバージョン以上集める
- テスト期間は最低2週間
- 信頼水準95%以上を確認してから採用
- 勝者を採用したら次の仮説へ
ABテストは1回で劇的な改善を求めるものではなく、継続的な小さな改善の積み重ねです。毎月2〜3件のテストを回し続けることで、半年〜1年でCVRを大幅に改善できます。
ツール費用は月3〜20万円から始められます。まずは1つ仮説を立てて、小さなテストから始めましょう。