ABテスト比較の正しい設計と判定基準｜比較契約の作り方

ABテストの比較とは、観測されたCVRの大小を並べて勝者を選ぶことではなく、事前に固定した仮説と割付のもとで「差の大きさ」「不確実性」「データ品質」「ガードレール指標」を突き合わせ、結果を採用・棄却・差を検出できない・実験無効などの状態に分類する作業です。

数字の見た目でB案が勝っていても、割付や計測が壊れていれば効果の証拠には使えません。逆に、有意差が出なかったことは「AとBが同じ」という証明ではありません。事前に判定条件を固定し、実行中は割付・露出・欠損・干渉を監視し、終了後は事前規則に沿って解釈する一連の工程で比較の品質を守ります。

比較するのは「観測値」ではなく「判定条件を満たしたか」

本記事では、実験前から結論後までを拘束する「比較契約」という考え方を軸に、次の流れで解説します。

• 実験前に固定する項目（比較契約表）
• 割付・露出・分析の単位設計
• 実験タイプごとの原因帰属の範囲
• 必要量の逆算とデータ品質ゲート
• 結果を6つの状態に分類する判定規則

この記事が想定する読者

LPやフォームの改善でABテストを回しているものの、「有意差が出た・出ない」の先で採用・継続・停止・再設計を決めきれない担当者を想定しています。統計の教科書的な網羅ではなく、判断を前に進めるための実務手順に絞ります。

ABテストの比較には、実験前に比較対象、割付、指標、品質ゲート、判定規則、停止条件を固定する文書が必要です。本記事ではこの内部文書を「比較契約」と呼びます。正式な外部事前登録を意味せず、結果を見た後に都合よく指標・対象・期間を変えた場合、その逸脱と影響を判定記録に残すための運用契約です。

比較契約表のテンプレート

事前登録が「あとづけの解釈」を防ぐ

Microsoftの実験プラットフォーム研究では、大規模に実験を回す組織の分析を信頼できるものにするためのチェックリストが整理されており、実験分析の大半は実験を開始する前の段階で行われていると指摘されています（Three Key Checklists and Remedies for Trustworthy Analysis of Online Controlled Experiments at Scale（Microsoft Research、2019年）、2026年7月20日確認）。

くるみの運用ルール: 結果を見た後に指標、対象、期間を変えた分析は、事前に決めた主要分析と分けて探索結果と記録します。比較契約は、事前規則と事後分析を混ぜないための道具です。

ABテストの単位設計には、割付単位、露出条件、分析単位の3つを分けることが必要です。主要分析の対象、分母、分散推定を事前に固定し、割付後の行動で対象者を選び直して無作為化を壊さないようにします。

割付単位が結果の独立性を決める

割付単位とは、AとBのどちらを見せるかを決める抽選の単位です。どれを選ぶかで観測値の独立性と汚染のリスクが変わります。

• ユーザー単位: 同じ識別子へ同じ案を出しやすい一方、端末をまたぐ同一人物の識別、共有端末、Cookie削除などの限界を記録します
• セッション単位: 同じ人が訪問ごとに別の案を見る可能性があります。セッションを独立とみなせる仮定、同一人物の反復、分散推定への影響を確認します
• アカウント・企業単位: B2Bで同じ契約判断に複数人が関わる場合の候補です。企業内で案が混ざる干渉を減らせますが、割付単位数が減るため必要量と分析方法を見直します
• 地域・キャンペーン単位: 個人を分けられない媒体施策で使いますが、単位数が少ないぶん不確実性の評価が難しくなります

実際の無作為化の仕組みは見た目より複雑で、割付の設計が観測の独立性の前提を壊すことがあり、その場合は差のばらつきを過小評価して実際より有意に見えやすくなることが報告されています（Trustworthy Analysis of Online A/B Tests: Pitfalls, Challenges and Solutions（Microsoft Research、2017年）、2026年7月20日確認）。

露出ログは「割付」と別に取る

割付されたことと、実際に変更へ露出したことは別です。露出イベントには実験ID、案、割付単位、時刻を記録します。ただし、変更箇所まで到達した人だけを事後的に選ぶと、処置後の行動で母集団を選別し、無作為化の比較可能性を壊す場合があります。主要分析は割付単位に基づく分析を基本候補にし、露出者分析を使う場合は、トリガー条件が処置前に定義され両群で対称か、選択バイアスが生じないか、推定対象が何に変わるかを事前に固定します。

分析単位と割付単位のずれに注意

セッション単位で割り付けながら、反復を無視してユーザー単位のCVRを通常の独立標本として扱うなど、割付と分析のずれは標準誤差を誤らせます。時間帯やデバイス差は、無作為割付、層別、共変量調整などのうち採用する方法を事前に決め、結果を見た後に都合のよい切り口だけを選びません。割付が設計どおりに動いているかの確認はABテストの無作為割付の検証方法で扱っています。

実験タイプを選ぶには、必要な原因帰属の範囲と、割付・検出力・運用統制の前提を対応付けることが必要です。単一変更、変更の束、多変量、段階導入、媒体実験では答えられる問いが異なります。

5つの実験タイプと帰属範囲

「変更は1要素だけ」という定番ルールは、単一要素への原因帰属が必要なときの条件であって、すべての実験の必須条件ではありません。リニューアルのように束でしか意思決定しない場面では、束のABテストのほうが判断に直結します。ただしその場合、「どの要素が効いたか」は問えないことを比較契約に明記しておきます。

広告媒体の実験は媒体の割付仕様を確認する

Google Ads APIのExperiments overview（2026年7月20日確認）は、対照と1つ以上の処置へトラフィックを分ける複数の実験ワークフローと、終了、反映、独立キャンペーン化の操作を案内しています。媒体が分割を実行しても、何が割付単位か、どのトラフィックが対象か、同時変更や学習がどう影響するかはワークフローごとに確認します。サイト内のユーザー単位実験と同じ推定対象だとはみなしません。設定手順はGoogle広告のABテスト機能の使い方にまとめています。

必要量と期間を決めるには、固定件数や固定日数ではなく、主要指標、ベースライン、MDE、有意水準、検出力、割付、分散、遅延などの入力が必要です。検定または推定方法に合う計算を使い、計算不能な入力は仮定として明示します。

逆算に使う6つの入力

1. ベースライン: 現状の主要指標の水準
2. 最小検出効果（MDE）: 検出したい最小の差。小さい差ほど大量の観測が必要になります
3. 有意水準: 誤検出をどこまで許容するか
4. 検出力: 指定した効果量とモデル仮定のもとで、採用する検定が帰無仮説を棄却する確率をどこまで確保するか
5. 割付比と指標の分散: 不均等な割付や、ばらつきの大きい指標では必要量が増えます
6. コンバージョン遅延: 問い合わせから商談化のように成果の確定が遅い指標は、観測期間に遅延分を織り込みます

「各案で一定件数たまったら判定」という固定値の目安は、この逆算を省略した近似にすぎません。ベースラインやMDEが異なる実験に流用すると、検出力不足のまま「差がない」と誤読する原因になります。具体的な計算手順はABテストのサンプルサイズ計算方法を参照してください。

期間は必要量と周期性の両方で決める

必要量だけでなく、対象母集団に予見できる曜日、締め日、キャンペーンなどの周期があるかを確認します。すべての実験へ同じ周期を強制せず、推定対象に含める期間と除外理由を事前に記録します。期間を延ばすと同時施策、計測変更、母集団変化が入りやすいため、変更を無条件に凍結するのではなく、影響し得る変更を台帳へ記録し、最大期間と判断不能時の出口を決めます。

途中で見てよいのは品質、見てはいけないのは勝敗

途中結果を表示するだけで直ちに誤検出が増えるわけではありません。しかし、通常の固定標本検定を使いながら、有意になった時点で停止する、期間を延長する、指標や対象を変える判断を繰り返すと、事前の誤検出率は保たれません。途中で勝敗を判断するなら、逐次検定、α消費など採用する方法と確認時点を事前に固定します。SRM、欠損、エラー、ガードレールなど品質と安全性の監視は別に継続します。

結果を判定する前に、割付、露出、重複、欠損、干渉、遅延を確認するデータ品質ゲートが必要です。未解決の不整合が推定へ与える方向と大きさを説明できなければ、勝敗へ進まず「実験無効」または「追加調査」と記録します。

最初に確認するのはサンプル比率不一致（SRM）

設計した割付比と観測比率の差が、事前に決めた検査で偶然変動として説明しにくい状態をサンプル比率不一致（SRM: Sample Ratio Mismatch）と呼びます。リダイレクト失敗、非対称な除外、露出ログ欠損など複数の原因候補があるため、SRMだけで原因を断定しません。原因と影響を解消または説明できるまで効果判定を保留します。

判定前チェックリスト

• 割付の再現性: 同じ割付単位には常に同じ案が出ているか
• 重複: 同一ユーザーが両群に現れていないか
• ボット・社内アクセスの除外が両群で対称に効いているか
• 欠損: 露出イベントやCVイベントの取得率が期間中に変わっていないか
• イベント定義変更: 実験期間中に計測タグや集計定義を変えていないか
• 同時実験: 同じ母集団で走る他の実験との干渉はないか
• 遅延コンバージョン: 観測締切までに確定しない成果の扱いを決めてあるか
• 途中停止: 止めた場合にその時点のデータで何が言えるか、事前規則に照らしたか

GA4の役割は露出記録と分析データまで

Google アナリティクス 4（GA4）を実験の計測に使う場合、公式ドキュメントは実験ツール側がGA4へ露出イベントを送る統合方法を定めています。サードパーティ実験ツール向けには experience_impression イベントと exp_variant_string パラメータ、自社実装の実験にはカスタムイベントで実験IDとバリアントIDを送る形が示されています（Experiment integrations with Google Analytics（Google for Developers）、2026年7月20日確認）。

この公式資料が説明するGA4連携は、案への追加または露出をイベントで記録し、オーディエンスやレポートで分析するためのものです。GA4イベントが届くだけでは、配信、無作為割付、重複防止、統計判定の妥当性は確認できません。実験ツールまたは自社実装による割付、GA4へのイベント送信、分析コード、事業成果との照合を別の責任とし、同じ実験IDと案IDで接続します。

結果は6つの状態に分けます。差の推定値と不確実性の区間、事前の判定規則、MDE、品質ゲート、ガードレールを照合し、採用、棄却、差を検出できない、実務上小さい、実験無効、追加判断のどれかを記録します。

統計指標の正しい読み方

• p値: 帰無仮説と検定のモデル仮定のもとで、観測した検定統計量と同等かそれ以上に極端な値が出る確率です。「結果が偶然である確率」でも「Bが勝つ確率」でもありません
• 信頼区間: 同じ手順で実験を何度も繰り返したとき、区間が真の差を含むように構成された範囲です。1回の実験で得た区間そのものに真の値が入っている確率を示す数値ではありません
• ベイズ流の確率: 「Bが優れている事後確率」を出す方法もありますが、その数値は事前分布とモデルの仮定に条件付けられた値であり、仮定を示さずに単独で信じられる数値ではありません

有意差が出なかったことは「AとBが同じ」の証明ではなく、「この設計では差を検出できなかった」という状態です。逆に、統計的に有意でも差の大きさがMDEを下回るなら、実務上は小さすぎて実装・保守コストに見合わないという判定がありえます。指標の動きを額面どおり受け取る前に原因を確かめるべきことは、実際の大規模実験で起きた誤読の事例集として整理されています（A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments（Microsoft Research、2017年）、2026年7月20日確認）。

判定は6つの状態に分ける

統計的有意と事業成果の照合は別作業

主要指標がフォーム送信なら、差が出ても問い合わせの質が同じとは限りません。媒体コンバージョン、GA4イベント、フォーム成功、有効問い合わせ、商談、受注は別の数字としてIDで対応付けます。複数の指標、案、セグメント、時点で検定する場合は、主要指標の階層、検定ファミリー、多重性の調整、探索分析の表示を事前に決めます。採用後も下流指標とガードレールを追いますが、事後観察を無作為化実験と同じ因果証拠にはしません。

テストの優先順位には、くるみの自社フレームとして「入場券」と「選ばれる理由（POD: Point of Difference）」を分けることが必要です。これは統計上の規則ではなく、どの仮説を先に検証するかを決める編集・事業判断です。

ボタン色の乱発が起きる構造

ABテスト運用が形骸化する典型は、実装が軽い変更（色や細かな文言）ばかりを回し続けることです。運用の丁寧さやレポートの速さのように競合も同じことを言える要素は、比較テーブルに乗るための入場券であって、選ばれる理由ではありません。入場券側の要素をいくらテストで磨いても、比較で選ばれる確率は構造的に上がりにくいのです（株式会社くるみ「CEP×POD」（自社ポジショニング方法論、2026年））。

入場券は競合と同等でよく、投資は選ばれる理由に狭く厚く。LPのテスト計画の配分にも、この区別がそのまま使えます。

反証可能な仮説に変換する

PODをテストに乗せるには、「強みを伝える」という曖昧な意図を反証できる形に直します。たとえば「導入プロセスの一次情報を提示すると、比較検討段階の訪問者の有効問い合わせが増える」という仮説なら、対象母集団を比較検討層の流入に絞り、主要指標を問い合わせの質側に寄せ、負けた場合は訴求そのものを見直すところまで比較契約に書けます。テスト件数を増やす前に、いま並んでいる仮説が「負けたら何を学べるか」を持っているかを点検してみてください。入場券の微修正が並んでいるなら、比較に必要な証拠づくりへ仮説を組み替えるほうが先です。

ABテスト比較の実務でよく詰まる5つの判断に、本文で定義した条件を当てはめて回答します。

Q1. 有意差が出なかったので、AとBに差はないと結論してよいですか？

結論できません。有意差なしは、採用した検定とデータでは帰無仮説を棄却できなかったという結果です。差の推定値と信頼区間をMDEへ照らし、実務上重要な正負の差がどこまで残るかを確認します。「差が十分小さい」と結論したい場合は、同等性または非劣性の許容幅と判定方法を事前に設計します。検出力が高いことだけで同等性の証明にはしません。

Q2. テスト期間に一律の正解はありますか？

ありません。期間は必要量の逆算結果、事業の周期性（曜日・締め日・キャンペーン）、遅延コンバージョンの確定までの時間、他の変更を凍結できる長さから実験ごとに決めます。固定日数を全実験に適用すると、指標や母集団が違う実験で検出力の過不足が生じます。

Q3. 「各案で一定のコンバージョン数がたまったら判定」を社内標準にしてよいですか？

固定値の標準化は推奨しません。同じ件数でも、ベースラインとMDEが違えば判定の信頼性はまったく変わるからです。標準化するなら「固定値」ではなく「ベースライン・MDE・有意水準・検出力から必要量を逆算し、比較契約に記録する」という手順のほうを標準にします。

Q4. 実験の途中経過を毎日見るのはやめるべきですか？

画面を見ること自体ではなく、その結果で停止、延長、対象変更、指標変更をするかが問題です。SRM、イベント欠損、エラー、ガードレールは途中でも監視します。主要指標も閲覧できますが、固定標本設計なら途中値で勝敗を確定しません。途中判定が必要なら、逐次手法、確認時点、停止規則を事前に比較契約へ入れます。

Q5. 勝者が出ないテストが続きます。有効問い合わせを増やすには何を見直すべきですか？

3点を分けます。第一に、必要量、MDE、区間を見て、差を検出できていないだけかを確認します。第二に、仮説が入場券側の微修正に偏っていないかを見て、選ばれる理由を反証可能な変更へ変えます。第三に、フォーム送信を有効問い合わせ、商談、受注へ照合します。下流が変わらない場合は、計測欠損、配信対象、訴求、フォーム、営業判定など複数の原因候補を分け、次の一つを検証します。

ABテスト比較の要点は、観測CVRの大小ではなく、事前に固定した比較契約に照らして結果を6つの状態へ分類することです。

明日から使うチェックリスト

• 仮説・対照と処置・対象母集団・除外条件を文書化した
• 割付単位・露出条件・分析単位を区別して決めた
• 主要指標1つとガードレール、MDE・有意水準・検出力を固定した
• 必要量と期間をパラメータから逆算した
• SRM・重複・欠損・同時実験・遅延コンバージョンの品質ゲートを用意した
• 採用・棄却・検出できない・実務上小さい・無効・追加判断の6状態と、停止・ロールバック手順を決めた

「実験しない」も含めて選ぶ

比較契約を書いた結果、必要量、最大期間、費用上限の内側で主要判断へ届かない見込みなら、実験を保留する、MDEや対象を再設計する、計測を修復する、別の証拠を集める選択があります。母集団を変える場合は推定対象も変わるため記録します。GA4連携や媒体実験を内製する場合も、割付、品質ゲート、統計判定の責任は別に残ります。ツールや代行は手段の一つです。

私たち株式会社くるみは、AIを物量と速度のエンジンに、人の目利きを質の担保にするAIグロースファームとして、実験設計・計測基盤・クリエイティブ検証の実装に並走しています。比較契約の設計や、勝者が出ない実験ラインの立て直しを検討する際は、現状の計測構成と過去の実験ログを持ち寄る形でご相談ください。