ホールドアウトテストを作成する
ホールドアウトテストの目的は、Roktの統合がないウェブページまたはページセットのパフォーマンスを、Roktが統合された同じページのパフォーマンスと比較することです。これにより、ホールドアウト グループ（コントロールとも呼ばれる）にユーザーのセットを割り当てることで、顧客の行動に対する長期的な影響を正確に測定することができます。この顧客グループは、Roktの統合を見ないように除外され、一定期間ベースラインの体験に保持されます。
顧客体験への影響を測定することに加えて、このデータを使用してRoktの統合と最適化の効果を示し、Roktがあなたの利益に貢献する純価値を科学的に証明することもできます。
ホールドアウトテストを作成する
- my.rokt.com にログインし、ホームページでアカウントをクリックします。
- Transactions をクリックします。
- Experiments をクリックします。
- Add experiment をクリックします。
- 実験名を入力します。
- 実験タイプとして Page Holdout Experiment を選択します。
- Continue をクリックします。
- 仮説を入力します。
- Success metric を選択します。
- オプション Secondary metric を選択します。
- Minimum uplift パーセンテージを入力します。
- Experiment page を選択します。
- 実験を実行する Audience を選択します。
- Next をクリックします。
バリアントを設計する
次のステップは、元の体験を模倣し、仮説 をテストするためのホールドアウトバリアントを定義することです。Roktの統合とページ上での最適化から得られる結果を比較するための基準点として機能する、正確なベースライン（コントロールとして知られる）を確立することが重要です。
ベースライン体験は、あなたのウェブサイト上の既存の体験を密接に再現する必要があります。これには、ページのデザインとレイアウト、および顧客に表示されるオファー（ある場合）が含まれます。
ホールドアウトバリアントを構成する際には、次の2つのオプションから選択できます。
- Roktを表示しないページを表示: ホールドアウトグループに割り当てられた顧客にRoktレイアウトを表示するつもりがない場合は、このオプションを選択します。
- 既存の体験を再現するためにRoktレイアウトを表示: ページの一部のコンテンツを置き換えるためにRoktレイアウトを構成したい場合は、このオプションを選択します。たとえば、Roktが支払いページの既存の保険アップセルを置き換える場合です。詳細については、レイアウトの作成方法を参照してください。
ページのベースラインパフォーマンスを確立するために、デザイン、インタラクション、場所、コピーが既存の体験と同一であることが重要です。これにより、Roktで最適化された体験からの影響と価値を測定する際に、正確な比較点が確保されます。
トラフィック配分を設定する
トラフィック配分のステップでは、ホールドアウトグループに含めたい顧客の割合を定義します。数値を入力するか、スライダーを使用して、ページを訪れるすべての顧客のうち、実験コホートに含める割合を指定します。
Roktの最適化の影響を測定するために、5%のコントロールを推奨します。
実験を開始する
顧客をホールドアウトに割り当て始める準備ができたら、実験を開始 をクリックします。ステータスフィールドに Live と表示されたら、実験がページ上で実行されています。ほとんどの実験は5分以内にライブになります。