ホールドアウトテストの作成
ホールドアウトテストの目的は、Roktの統合なしでのウェブページまたはページセットのパフォーマンスを、Roktを使用した同じページのパフォーマンスと比較することです。これにより、一定のユーザーセットを「ホールドアウト」グループ（またはコントロールグループとも呼ばれる）に割り当てることで、顧客の行動への長期的な影響を正確に測定することができます。このグループの顧客はRoktの統合を表示せず、拡張期間にわたってベースラインの体験を提供されます。
顧客体験の影響を測定するだけでなく、このデータを使用してRoktの統合と最適化の効果を示し、Roktがあなたの収益にどれだけの価値をもたらすかを科学的に証明することもできます。
ホールドアウトテストの作成
- my.rokt.com にログインし、ホームページでアカウントをクリックします。
- トランザクション をクリックします。
- 実験 をクリックします。
- 実験を追加 をクリックします。
- 実験名を入力します。
- 実験タイプとして ページホールドアウト実験 を選択します。
- 続行 をクリックします。
- 仮説を入力します。
- 成功メトリック を選択します。
- オプション セカンダリメトリック を選択します。
- 最小のアップリフト パーセンテージを入力します。
- 実験ページ を選択します。
- 実験を実行する 対象オーディエンス を選択します。
- 次へ をクリックします。
バリアントのデザイン
次のステップは、元の体験を模倣し、仮説をテストするためのホールドアウトバリアントを定義することです。Roktの統合とページの最適化から得られる結果と比較するための正確なベースライン（コントロールとも呼ばれる）があることが重要です。
ベースラインの体験は、ウェブサイト上の既存の体験をできるだけ再現する必要があります。これには、ページのデザインとレイアウト、および顧客に表示されるオファー（ある場合）が含まれます。
ホールドアウトバリアントを設定する際に、次の2つのオプションから選択できます。
- Roktを表示しない: ホールドアウトグループに割り当てられた顧客にRoktの配置を表示する意図がない場合は、このオプションを選択します。
- 既存の体験を模倣するためにRoktの配置を表示する: ページ上の一部のコンテンツを置き換えるためにRoktの配置を設定したい場合は、このオプションを選択します。たとえば、Roktが支払いページの既存の保険アップセルを置き換える場合です。詳細については、配置の作成方法を参照してください。
ページのベースラインのパフォーマンスを確立するために、配置はデザイン、インタラクション、場所、コピーが既存の体験と同じであることが重要です。これにより、Roktの最適化された体験からの影響と価値を測定する際に正確な比較点が確保されます。
トラフィック割り当ての設定
トラフィック割り当てのステップは、ホールドアウトグループに含める顧客の数を定義するために使用されます。数値を入力するか、スライダーを使用して、ページを訪れるすべての顧客の割合を実験のコホートに含める割合を指定してください。
Roktの最適化の影響を測定するために、5%のコントロールを推奨します。
実験を開始する
顧客がホールドアウトに割り当てられる準備ができたら、実験を開始をクリックしてください。ステータスフィールドがライブと表示されると、実験はページ上で実行されます。ほとんどの実験は5分以内にライブになります。