成功の測定と結果の分析
この記事では、以下のことができます：
- 実験を終了する前に十分なデータを収集する
- 成功、失敗、および結論が出ない実験の結果を解釈する
実験を開始したら、クリエイティブ実験の詳細ビューで結果を表示できます。結果をすぐに確認することができますが、結論を出す前に少なくとも2週間以上データを収集することをおすすめします。十分なデータを収集して結果に高い信頼性を持たせるために、実験を十分な期間実行する必要があります。
実験の詳細ページを見つける
- One Platformで、ホームページのアカウントをクリックします。次に、左側のナビゲーションメニューからキャンペーン > 実験ページに移動します。
- 概要リストで実験を見つけるか検索します。
- 実験名をクリックして詳細ページを表示します。
トップの概要カードには、以下の情報が表示されます：
- 実験名と仮説
- 実験の終了オプション
- 実験の実行日数
- 実験の対象となるオーディエンス
実験設定の詳細情報や割り当ての編集については、設定をクリックしてください。
トップの概要カードの下には、実験の結果が表示されます。実験が進行するにつれて、元のクリエイティブとのパフォーマンスを監視し比較することができます。これらの結果を見ることで、結果が有意で信頼性があるかどうかがわかります。Roktでは、少なくとも1つのバリアントが元のベースラインバリアントを95%の確率で上回ることを推奨しています。
Roktは、少なくとも1つのバリアントが元のベースラインバリアントを95%の確率で上回るまで実験を実行することをお勧めします。
実験結果の解釈
結果テーブルの上部には、選択されたメトリックが表示されます。このメトリックは、各バリアントが元のベースラインバリアントに勝つ確率を計算するために使用されます。他のメトリックに対する各バリアントの結果も表示したい場合があります。追加のメトリックは、体験に対する意図しない影響を特定するのに役立ちます。
結果テーブルの上部にある+メトリックを追加をクリックして、他のメトリックを表示することができます。表示したい追加のメトリックを選択し、保存をクリックします。表示したくないメトリックを削除するには、メトリックを削除をクリックします。
通常、他のメトリックに負の影響を与えていないかを確認するために、すべてのセカンダリメトリックを評価することをお勧めします。
改善
この指標は、選択した指標におけるテストバリアントとオリジナルのパフォーマンスの相対的な差を測定します。結果テーブルの上部にあるタブを使用して、指標を切り替えることができます。
ベースラインを上回る確率
この指標は、あるバリアントがベースラインバリアントよりも優れたパフォーマンスを発揮する確率を示しています。もしバリアントがオリジナルを95%以上上回っている場合、その結果は信頼性があり、勝者として選択することができます。複数のバリアントがベースラインを上回る可能性があります。
実験的なバリアントを展開する前に、ベースラインを上回る確率が95%に達するまで待つことをおすすめします。早めに展開することも可能ですが、データが不完全な状態で作業するため、リスクが伴います。
信頼区間
信頼区間は改善の不確実性を測定し、選択した指標のパフォーマンスが実際に存在する範囲の値を表示します。以下に、実験のデータと分析があり、各変数の信頼区間を示すグラフが表示されます。これにより、結果テーブルで選択された指標に対して、変数がどのように実行されたかを視覚化することができます。グラフのタイトルを見ることで、どの指標が選択されているかがわかります。
グラフは広く始まり、各変数のパフォーマンスの不確実性が高いことを示しています。実験が時間とともにより多くのデータを収集するにつれて、区間は狭まり、確実性が高まっていることを示します。異なる線（変数）間に最小限または重なりがないことを探し、実験結果に対する信頼性を高めてください。
実験を終了することを決定する
実験結果を解釈し、実験を終了する際には、以下のルールに従うことをお勧めします。
- 実験が少なくとも2週間実行されていることを待ちます。これは、十分なデータを収集するために実験が十分に実行されていることを確認するためです。
- 結果を分析し、顧客について学ぶ時間を取ります。結果に深く入り込み、データを解釈する時間が長ければ長いほど、全体的な勝者や敗者を超えて顧客について学ぶことができます。
勝者が出た場合、どうしますか？
実験で最も優れたバリアントまたはバリアントを特定する場合、いくつかの潜在的なシナリオが考えられます。
- オリジナルが勝者です。実験のすべてのバリアントが元のベースラインバリアントよりも劣っている可能性がある場合（すべてのバリアントがベースラインを上回る確率が95％未満）、現在の体験を継続し、実験を終了する方が良いです。結果は変わる可能性が低く、新しい実験に時間を費やす方が良いでしょう。
ただし、これは悪い結果や失敗した実験ではありません！お客様の行動について貴重な情報を得ることができ、将来のテストに活用できます。
特定のバリアントが勝者です。主要な成功メトリックにおいて、1つのバリアントがオリジナルを上回る可能性が95％以上あるデータが十分にある場合、実験を終了し、このバリアントをページ上で単独のバリアントとして実行することが安全です。実験結果がテストバリアントの方が優れていることを示している場合、オリジナルバリアントを一時停止または削除することも検討できます。ゆっくりと移行したい場合やオリジナルバリアントを一時停止または削除したくない場合は、Roktの機械学習アルゴリズムが時間をかけて学習し、各顧客に最適なオプションを表示します。
複数のバリアントがオリジナルを上回る場合です。テストバリアントのうち複数のバリアントがオリジナルよりも優れている可能性が95％以上ある場合、オリジナルよりも優れたバリアントがいくつかあると結論付けるために十分なデータがあるはずです。ベースラインを上回る確率が最も高いバリアントのみを推進するか、複数のバリアントを推進し、Roktの機械学習に各顧客に最適なオプションを表示させるかを選択できます。