CROを勘からテスト計画へ移す：分析・仮説・優先順位・サンプル数の見積もりまで

仮の例です。月に2,000訪問のECサイトの担当者が、会議で「購入ボタンを赤にしてみよう」と提案されたとします。実行して二週間後、購入数が増えた気がする。ただ、その二週間には広告の出稿増も、給料日も重なっていました。何が効いたのか、効いていないのか、誰にも説明できません。CRO（コンバージョン率最適化）を勘から計画へ移すというのは、この「説明できなさ」を、一行の仮説と、事前に決めた判定ルールに置き換える作業です。

分析で「どこ」を特定する：ファネル、ヒートマップ、録画の役割分担

最初の作業は、テストではなく場所の特定です。GA4には「ファネルデータ探索」があり、イベントを並べた段階ごとに、ユーザーがどこまで進み、どこで離れたかを見られます。Universal Analyticsの時代に「目標到達プロセス」と呼ばれていた機能に近い位置づけで、現在の公式ヘルプでは「ファネルデータ探索」として説明されています。ヘルプによれば、ファネルはオープンとクローズドを選べ、クローズドでは最初の段階を経ていないユーザーが除かれます。どちらを選んだかで人数が変わるため、結果を共有するときは設定を併記してください。画面表示は更新されるので、実際の操作は公式ヘルプで確認してください。

ここで押さえたいのは、三種類の道具が答える問いが別だということです。

録画は具体的で説得力がありますが、数十本を見て「みんなここで迷っている」と結論づけるのは危険です。録画は仮説を出すための材料であり、頻度の根拠にはなりません。ファネルで離脱の大きい段階を決め、その段階の録画だけを見る、という順番を守ると、録画を見る時間が増えません。さらに、顧客インタビューや問い合わせ履歴と突き合わせて、行動の理由を補います。ヒューリスティクスによるUX監査で出た重要度の高い指摘も、仮説の候補になります。

ところで、録画やヒートマップのツールには、料金体系の異なる複数の選択肢があります（Microsoft Clarity、Hotjarなど）。有料・無料の差より先に確認したいのは、次の節で扱う、訪問者の情報がどこへ送られるかという点です。

録画・ヒートマップを入れる前に：同意と外部送信規律を確認する

録画ツールは、訪問者の操作やページ上の表示内容を、外部のサーバーに送る仕組みです。入れる前に、少なくとも三つを確認してください。以下は一般的な整理であり、個別の判断は法務担当や専門家に相談してください。

1. 外部送信規律の対象かどうか

2023年6月16日に施行された電気通信事業法の外部送信規律は、対象となる事業者がウェブサイトで利用者の端末から外部へ情報を送信させる場合に、送信される情報の内容、送信先、利用目的を、通知・公表するなどの対応を求めるものです。総務省のページによると、ウェブサイトでは主にメッセージ媒介、SNS、検索、ニュースなど各種情報のオンライン提供といった類型が対象とされ、自社の情報発信や自社商品のオンライン販売だけを行うサイトは電気通信事業に当たらず、対象外とされています。自社サイトが対象かどうかは、事業の内容で変わります。対象外の場合でも、公表されている手引きの案では、規律対象外の事業者にも参考にすることが期待されるとされています。手引きは案から正式版へ更新される可能性があるため、最新のものを総務省のページで確認してください。

2. 個人情報保護法の観点

録画やヒートマップのデータが、個人を特定できる情報と結びつくと、個人情報の取り扱いの問題になります。また、提供先が他の情報と照合して個人データとして取得することが想定される場合には、個人関連情報の第三者提供に関する規律の検討が必要になることがあります。ツール提供元の利用規約や、データ処理に関する説明書を読み、委託なのか第三者提供なのかの整理を社内で行ってください。個人情報保護委員会のガイドラインが基礎資料になります。

3. 入力内容の取得を止める設定

録画で最も事故が起きやすいのは、フォームの入力内容です。氏名、住所、メールアドレス、場合によってはカード番号の入力までが画面ごと記録されていないか、導入直後にテスト入力で確かめます。多くのツールには入力欄や特定の領域を伏せる設定がありますが、既定の範囲は製品ごとに異なります。「既定で伏せられるはず」と考えず、自分のサイトの実際の録画で確認してください。問い合わせフォームや会員ページは、録画の対象から外す運用も選択肢です。

この確認を飛ばしたまま運用を始めると、後から削除や説明の対応に追われます。プライバシーポリシーやCookieに関する説明の更新も、導入の作業に含めてください。

仮説を書き、バックログにして優先順位を付ける

分析で場所が分かったら、仮説を書きます。形式は一つに固定しておくと、議論が早くなります。

〔観察〕を見た。〔誰〕は〔理由の推測〕のため〔行動〕できていないと考える。〔変更〕すれば、〔指標〕が変わるはずだ。

仮の例です。「カート画面で離脱する人の録画を見ると、配送料が初めて表示された直後に戻る操作をする例が複数あった。購入前に総額を知りたい人は、送料が分からないまま進むことを嫌うと考える。商品ページに送料の目安を表示すれば、カートへの遷移後の離脱が変わるはずだ」。この一文には、観察、推測、変更、指標の四つがそろっており、反証もできます。「ボタンを赤くする」には、観察も推測も含まれていません。

ICEで並べ、証拠の強さで補正する

仮説が十数個集まったら、優先順位を付けます。よく使われるのは、ICE（Impact：影響、Confidence：確信、Ease：やりやすさ）と、PIE（Potential：伸びしろ、Importance：重要度、Ease）の二つです。各項目を10点満点で採点し、合計や平均で並べます。次の表は仮の例です。

ICEには癖があります。確信（C）は担当者の気持ちで上下しやすく、自分の提案には高く付けがちです。そこで、根拠の種類を列に残し、「確信は根拠の種類で決める」というルールを加えます。社内の意見だけなら3以下、一つのデータなら5前後、ファネルと録画と顧客の声がそろっていれば7以上、というように、事前に段階を決めておくのです。点数はあくまで議論の叩き台であり、合計が大きい順に機械的に着手する道具ではありません。

テスト設計：サンプル数を先に見積もる

A/Bテストの設計で最初にやることは、テストを走らせる前に、判定に必要な訪問者数を見積もることです。入力は、現在の転換率、検出したい最小の差、有意水準、検出力の四つです。標準的な2標本の比率の検定の近似式で、仮の例を計算してみます。

• 現在の購入率：2％（仮定）
• 検出したい変化：2％から2.4％（相対で2割の改善、仮定）
• 有意水準：5％（両側）、検出力：80％

この条件では、1つのパターンあたりおおむね2万強の訪問が必要になる計算です（概算であり、使う計算式やツールで幅があります）。2パターンで合計4万強。月2,000訪問のサイトでは、単純に割れば二年近くかかります。これは、小規模なサイトで「小さな変更を、A/Bテストで一つずつ確かめる」運用が成り立たない、という意味です。

一方で、見積もりの結果は選択肢を整理してくれます。

• 差を大きく狙う：小さな色や文言ではなく、送料表示の追加やフォーム構成の変更のような、効果が大きく出る変更をテストする。
• 指標を手前に置く：購入ではなく、カート投入やフォーム開始のように発生数が多い指標を主指標にする（ただし最終的な購入と連動しているかは別途確認する）。
• テストせずに直す：誰が見ても不具合の項目や、アクセシビリティ上の問題は、検証せず修正する。
• 定性調査を厚くする：5人程度の観察で、変更前に致命的な迷いを除く。

訪問数が十分あるサイトでも、次の運用ルールは事前に決めてください。この辺りは、Ron Kohavi、Diane Tang、Ya Xuの『Trustworthy Online Controlled Experiments』に詳しく、実務で起きる問題が体系的に書かれています。

• 期間を先に決める：曜日による変動を含めるため、最低でも1週間単位で走らせ、事前に決めた期間が終わるまで結論を出さない。
• 途中で何度も覗いて止めない：有意になった瞬間に止めると、実際には差がない変更を「勝ち」と判定する確率が上がる。Evan Millerの "How Not To Run an A/B Test" が、この問題を分かりやすく説明している。
• 割り振りの偏りを確認する：50対50で設計したのに、実際の人数比が大きくずれたら（サンプル比のミスマッチ）、計測か割り振りに不具合があり、結果は信用できない。
• 守りの指標を置く：主指標が改善しても、返品、問い合わせ件数、ページ表示の遅さが悪化していないかを確認する。
• 一度に重ねない：同じ画面で複数のテストを同時に走らせると、どの変更の効果か分からなくなる。

結果を記録し、「テストしない」判断も計画に入れる

テストが終わったら、勝ち負けだけでなく、仮説・期間・人数・結果・次の行動を一行で記録します。差が出なかったテストこそ重要です。「送料表示は効かなかった」は、送料が離脱の理由ではないという情報であり、仮説の根拠を見直すきっかけになります。記録がなければ、半年後に別の担当者が同じ仮説を再び試します。

ただし、このやり方にも限界があります。A/Bテストは、変更の効果を平均として示しますが、特定の顧客層で効いたのか、短期的な反応にすぎないのかは分かりません。新しい表示に最初だけ反応が集まる現象（新規性効果）もあり、数週間では長期の継続や再購入への影響は見えません。結果を鵜呑みにせず、購入後の指標も合わせて読む必要があります。段階ごとの計測とコホートでの読み方は、カスタマージャーニー分析の記事で扱っています。

また、ツールが示す「統計的に有意」という判定を、事業上の意味と取り違えないでください。有意であることは、差が偶然とは考えにくいという意味にとどまり、その差が施策の費用に見合う大きさかどうかは別の問題です。実装・運用の手間と、見込める差を並べて判断します。広告から問い合わせまでの構成を一から整理するときは、ランディングページの構成を扱った記事が土台になります。

計画を回すことで残るのは、勝ったテストの数よりも、どの観察がどの仮説につながり、何が確かめられ、何が確かめられていないかの記録です。この記録を教材に演習を行う内容は、カスタマーエクスペリエンス実践コースで扱っています。