ABテストの設計と実行

ABテスト — データで勝ちパターンを見つける科学的改善手法

LP改善において「このボタンの色が良さそう」「このコピーの方が売れそう」という感覚的な判断は危険です。人間の直感は外れることが多く、マーケター自身が「これは絶対に良い」と思ったバリアントが負けるケースは珍しくありません。ABテストはAパターンとBパターンを同時にユーザーへ表示し、統計的な有意差でどちらが優れているかを数字で証明する手法です。このレッスンでは、ABテストの設計方法・統計的有意差の考え方・必要サンプルサイズの計算・Google Optimize終了後の代替ツールまで、実践で使える知識を体系的に解説します。

ABテスト設計フロー — 仮説 → 実施 → 統計的判定 → 反映

---

ABテストの基本概念

コントロールとバリアント

ABテストでは現在のページ（コントロール、Aパターン）と変更を加えたページ（バリアント、Bパターン）の2種類を用意します。トラフィックを50:50に分割し、一定期間データを収集した後に統計的に優れたパターンを採用します。

1変数の原則

ABテストで最も重要なルールが「1テストで変更する要素は1つだけ」という原則です。ボタンの色とコピーを同時に変えてしまうと、改善効果がどちらに起因するかを特定できません。

💡 複数の要素を同時にテストしたい場合は「多変数テスト（MVT: Multivariate Testing）」を使います。ただしMVTは各組み合わせに十分なトラフィックが必要なため、月間1万PV以上のLPでないと実用的ではありません。まずは1変数ABテストから始めてください。

---

テスト設計の手順

STEP 1: 課題の特定

ABテストは「なんとなく試してみる」ではなく、データに基づいた課題から仮説を立てます。

課題発見のデータソース:

• ◆GA4のCVR — フォームページの直帰率が高い → フォーム改善を優先
• ◆ヒートマップ — CTAボタンのクリック率が低い → ボタンの訴求力改善
• ◆スクロール率 — ファーストビューから50%以上が離脱している → FV改善
• ◆ユーザー録画 — フォーム途中で離脱している → 入力UX改善

STEP 2: 仮説の立案

課題が特定できたら「なぜその問題が起きているか」の仮説を立て、改善策を明確にします。

仮説のフォーマット:

**「現状」では「問題」が起きている。「改善策」を実施することで「指標」**が改善すると仮説を立てる。

仮説の例:

• ◆現状のCTAボタンが「送信する」という表現では行動を促しにくい。「無料で資料を受け取る」に変更することでCVRが上がると仮説を立てる。
• ◆ファーストビューに料金が表示されていないため不安感から離脱している。「初月無料」をFVに追加することで直帰率が下がると仮説を立てる。

STEP 3: テスト要素の優先順位

CVRへの影響が大きい要素から優先的にテストします。

---

統計的有意差とサンプルサイズ

統計的有意差とは

「AよりBの方がCVRが高い」という結果が、偶然ではなく本物の差であることを統計的に確認することが「統計的有意差」です。有意差がないまま改善を判断すると、誤った施策を本番に反映してCVRが下がるリスクがあります。

主要な指標:

• ◆p値: 本当は差がないと仮定したときに、観測された差（またはそれ以上の差）が偶然生じる確率。p < 0.05（5%未満）が有意差ありの基準
• ◆信頼度（Confidence）: 1 - 有意水準（判定に使うp値の基準）。有意水準5%なら信頼度95%で、これが「統計的に有意」と判定する一般的な目安
• ◆検出力（Power）: 本当の差を正しく検出できる確率。80%以上を目標にする

必要サンプルサイズの計算

テストを開始する前に「何人のユーザーを集めれば統計的に判定できるか」を計算します。

簡易計算式（信頼度95%・検出力80%の場合）:

必要サンプル数（片側）= 16 ÷ (検出したい相対的改善率)² × (1/現在のCVR)

実例計算:

• ◆現在のCVR: 2%（0.02）
• ◆検出したい改善: 20%改善（CVRを2% → 2.4%にしたい）
• ◆計算: 16 ÷ 0.04 × 50 = 20,000人（片側）→ 合計40,000セッション必要

⚠️ CVRが低い（1%未満）・月間PVが少ない（5,000PV以下）サイトでは、ABテストの統計的判定に必要なサンプルが集まらず意味のある結論が出ません。その場合は定性的な改善（ヒートマップ・ユーザーインタビュー）を優先してCVRを1%以上に引き上げてからABテストを実施してください。

---

ABテストツール比較

Google Optimize終了（2023年9月）

Googleが提供していた無料ABテストツール「Google Optimize」は2023年9月に完全終了しました。後継ツールとしてGoogleはGA4の実験機能への統合を案内していますが、2025年時点では機能が限定的です。代替ツールを選ぶ必要があります。

主要な代替ツール比較

無料でABテストを行うGA4+GTM方式

費用をかけずにABテストを実施する方法として、GA4とGoogleタグマネージャーを組み合わせた方法があります。

基本的な仕組み:

1. ◆GTMで「カスタムHTML」タグを作成し、JavaScriptでランダムにAまたはBのコンテンツを表示
2. ◆表示したバリアントをGA4のカスタムイベントとして送信
3. ◆GA4の探索レポートでAとBのCVRを比較

メリット: 費用ゼロ・既存ツールのみで完結 デメリット: 実装に技術知識が必要・統計的有意差の自動計算がない

💡 ABテスト専用ツールが使えない場合、まず「時系列テスト」を試す方法もあります。1週目にAパターン、2週目にBパターンを表示して同一曜日のCVRを比較します。季節変動やキャンペーンの影響を受けやすいデメリットがありますが、トラフィックが少ないサイトでの初歩的な改善検証として有効です。

---

テスト実施時の注意事項

テスト期間中は他の変更を禁止

ABテスト実施中にLPの他の箇所を変更すると、測定結果が汚染されます。テスト開始から終了まで、テスト対象外のページ変更・広告配信先の変更・キャンペーンの開始は原則禁止です。

早期終了の禁止

テスト途中で「Bが明らかに勝っている」と思っても、計算したサンプル数に達するまでテストを続けます。早期終了は**偽陽性（本当は差がないのに差があると判断してしまうエラー）**の原因になります。

外部要因の管理

---

🏋️実践ワーク

1. ◆前のレッスンで公開したLPのGA4データを確認し、ヒートマップ（Microsoft Clarity無料版）を設置してクリック位置・スクロール率を可視化してください。
2. ◆データから「最も改善効果が高そうな要素」を1つ選び、「現状→仮説→改善策→期待指標」の形式で仮説を文章化してください。
3. ◆現在のLPのCVRと目標改善率を仮定して、本レッスンの計算式で必要サンプルサイズを計算してください。
4. ◆VWOの無料トライアルまたはGA4+GTM方式でAパターンとBパターンを設定してください。
5. ◆2週間後に統計的有意差をabtestguide.comの計算ツールで判定し、勝者バリアントを本番に反映してください。

📝まとめ

ABテストは「1変数の原則→仮説設定→サンプルサイズ計算→統計的判定」の4ステップで実施します。信頼度95%（有意水準5%）で判定し、p値が0.05未満なら有意差ありとするのが一般的な基準です。Google Optimize終了後は、予算があればVWO・Convert.com、無料ならGA4+GTM方式を選択します。最も重要なのはサンプルが集まる前の早期終了を禁止することです。正しいABテストの積み重ねがCVRを継続的に改善し、同じトラフィックから得られる成果を最大化します。次のレッスンではABテストと組み合わせるLP改善PDCAサイクルと、ヒートマップ分析・CVR改善チェックリストを学びます。