今日の問い
A案とB案の差を、その変更が引き起こしたと言える条件は揃っていますか。
30秒でつかむ
A/Bテストは、利用者をランダムに分け、変更以外の条件をそろえて差を比べる方法です。正しく設計できれば、変更と結果の因果を推定できます。
ただし、有意差が出たことと、正しい意思決定ができることは別です。 割り付け、データ品質、指標、期間、多重比較を点検します。
30秒図解 · LESSON 34
マトリクス
差が出たことと、原因が分かることは別
仮説、割付、期間、外部要因を揃えて解釈します。
低仮説の明確さ高
- QUADRANT 1思いつきで見つけた差
- QUADRANT 2仮説は明確だが割付が不十分
- QUADRANT 3無作為割付だが仮説が曖昧
- QUADRANT 4事前仮説と無作為割付で確認した差
CLUE · 見抜く手掛かり
結果以外の説明を除けているか
TRAP · ありがちな罠
有意差を実務価値と同一視する
原則
最初に仮説、主要指標、ガードレール、対象、期間、判断基準を固定します。結果を見てから都合のよい指標や期間を選ぶと、偶然の差を成果として扱いやすくなります。
ランダム化の単位は、影響が独立する単位に合わせます。同じ利用者がAとBを行き来する設計や、同じ組織内で体験が混ざる設計では、単純な比較が成り立たないことがあります。
予定した比率と実際の人数が大きく違う場合は、割り付けやログ欠損を疑います。差が有意でも、データ生成の仕組みが壊れていれば結論は信用できません。
統計的に検出できた差が、実務で意味のある差とは限りません。効果量と不確実性を見て、利用者への利益、害、実装費用を合わせて判断します。
また、同時に多くの指標を試すほど、偶然当たる指標が増えます。主要指標を事前に絞り、探索的に見た結果は次の仮説として扱います。
複雑なランダム化では独立同分布の仮定が崩れ、不適切な分散推定が誤った結論を生むというA/B分析の注意点を支える。
良い例と惜しい例
A/Bテストの事前設計
後者でも、結果はその対象と期間での推定です。別の利用者や長期利用へ一般化できるかは、別に確かめます。
AIへの指示例
目的: 一つのUI変更について、因果を推定できるA/Bテスト計画をレビューする
制約: 実験結果を生成せず、結果を見た後の指標変更を認めない
参照: measurement-plan.md、改善仮説、対象機能の割り付け仕様
受入条件: 仮説、ランダム化単位、主要指標、ガードレール、最小効果、期間、除外条件、比率不整合の確認、停止基準を点検する
確認問題
セルフチェック
1. A/Bテストで主要指標に有意差が出た直後、採用判断の前に最も重要な確認はどれですか。
最終制作へ反映する
A/Bテスト判断契約
measurement-plan.mdに、改善仮説一件のランダム化単位、主要指標、ガードレール、期間、除外条件、停止基準を追加する。
Acceptance criteria
- 主要指標と判断基準が、実験結果を見る前の値として書かれている
- 割り付け比率、欠損、ログ変更を確認する手順が含まれている
今日のまとめ
- A/Bテストはランダム化により変更の因果を推定する
- 有意差だけでなく、割り付け、品質、効果量、ガードレールを見る
- 次は、変更を安全に公開し、観察から改善へ戻す