成功の測定と結果の分析

この記事では、次のことを支援します：

• 実験を終了する前に十分なデータを収集する。
• 勝利、敗北、結論が出ない実験の結果を解釈する。

実験を開始すると、クリエイティブ実験の詳細ビューで結果を確認できます。結果をすぐに確認し始めることができますが、結論を出す前に少なくとも2週間データを受け取ることをお勧めします。結果に対する高い信頼性を得るために、十分なデータを収集するまで実験を続ける必要があります。

実験の詳細ページを見つける

1. One Platformで、ホームページのアカウントをクリックします。次に、左側のナビゲーションメニューからキャンペーン > 実験ページに移動します。
2. 概要リストで実験を見つけるか検索します。
3. 実験名をクリックして詳細ページを表示します。

上部のサマリーカードには次の情報が表示されます：

• 実験名と仮説
• 実験を終了するためのオプション
• 実行日数
• 実験でターゲットにされたオーディエンス

実験設定の詳細や割り当ての編集については、設定をクリックしてください。

上部のサマリーカードの下には、実験の結果が表示されます。実験が進行するにつれて、元のクリエイティブと比較してそのパフォーマンスを監視および比較できます。これらの結果を確認することで、結果が重要で信頼できるかどうかを判断できます。少なくとも1つのバリアントが元のベースラインバリアントを95%の確率で上回るまで実験を続けることをお勧めします。

Roktは、少なくとも1つのバリアントが元のベースラインバリアントを95%の確率（または5%未満）で上回るまで実験を続けることを推奨します。

実験結果の解釈

結果テーブルの上部には、選択されたメトリックが表示されます。このメトリックは、各バリアントが元のベースラインバリアントを上回る確率を計算するために使用されます。他のメトリックに対して各バリアントの結果を確認したい場合もあります。追加のメトリックは、体験に対する潜在的な意図しない影響を特定するのに役立ちます。

結果テーブルの上部で**+ メトリックを追加**をクリックすることで、他のメトリックを表示できます。表示したい追加のメトリックを選択し、保存をクリックします。表示したくないメトリックを削除するには、メトリックを削除をクリックします。

一般的に、すべての二次メトリックを評価して、他のメトリックに悪影響を与えている警告を探すことをお勧めします。

改善

この指標は、選択された指標に対するテストバリアントとオリジナルのパフォーマンスの相対的な差を測定します。結果表の上部にあるタブを使用して、指標間を切り替えることができます。

ベースラインを上回る確率

この指標は、バリアントがベースラインバリアントよりも良いパフォーマンスを発揮する確率を示します。バリアントがオリジナルを95%以上上回る場合、その結果は信頼できる可能性が高く、勝者として選択することができます。ベースラインを上回るバリアントが複数存在することもあります。

実験的なバリアントを展開する前に、ベースラインを上回る確率が95%に達するまで待つことをお勧めします。早期の展開は可能ですが、不完全なデータで作業することになるためリスクがあります。

信頼区間

信頼区間は改善に対する不確実性を測定し、選択された指標に対するパフォーマンスが実際に存在する値の範囲を表示します。実験のデータと分析の下には、各バリアントの信頼区間を示すグラフがあります。これは、結果表で選択された指標に対して、これまでのバリアントのパフォーマンスを視覚化します。グラフのタイトルを見て、どの指標が選択されているかを確認できます。

グラフは広く始まり、各バリアントのパフォーマンスの不確実性が大きいことを示しています。実験が時間とともにより多くのデータを収集するにつれて、区間は狭まり、確実性が増していることを示します。異なる線（バリアント）間の重なりが最小限またはないことを確認して、実験結果に対する信頼を高めましょう。

実験を終了する決定

実験結果を解釈し、実験を終了する決定を行う際には、いくつかのルールに従うことをお勧めします。

• 実験が少なくとも2週間実行されるまで待ちます。これは、十分なデータを収集するために実験が十分に長く実行されていることを確認するためです。
• 結果を分析し、顧客について学ぶ時間を取ります。結果を深く掘り下げ、データを解釈するのに多くの時間を費やすほど、全体的にどのバリアントが勝ち負けするかを超えて、顧客について学ぶことができます。

勝者がいる場合はどうしますか？

実験で最もパフォーマンスの良いバリアントを特定する際には、いくつかのシナリオが考えられます。

1. オリジナルが勝者である場合。すべての実験バリアントがオリジナルのベースラインバリアントよりもパフォーマンスが悪い可能性があります（すべてがベースラインを上回る確率が95%未満）。この状況では、現在のエクスペリエンスをそのままにして実験を終了する方が良いです。結果は変わる可能性が低く、新しい実験に時間を費やす方が良いでしょう。

   これは悪い結果や失敗した実験ではないことに注意してください！顧客の行動について貴重な情報を学び、将来のテストに活用できます。

2. 特定のバリアントが勝者である場合。十分なデータがあり、特定のバリアントが主要な成功指標においてオリジナルを上回っていると結論付けることができます（つまり、特定のバリアントがベースラインを上回る確率が95%以上）。実験を終了し、このバリアントをページ上で単独のバリアントとして実行することを推奨します。実験結果がテストバリアントの方が良いと示している場合、オリジナルバリアントを一時停止または削除することを検討するかもしれません。ゆっくりとした移行を好み、オリジナルバリアントを一時停止または削除したくない場合、Roktの機械学習アルゴリズムが時間とともに学習し、各顧客に最適なオプションを表示します。

3. 複数のバリアントがオリジナルを上回る場合。テストバリアントのうち複数がオリジナルよりも良いパフォーマンスを発揮することがあります（つまり、複数のバリアントがベースラインを上回る確率が95%以上）。一部のバリアントがオリジナルよりも良いパフォーマンスを発揮していると結論付けるのに十分なデータがある場合、絶対的に最良のバリアントを結論付けるのに十分なデータがあるはずです。ベースラインを上回る確率が最も高いバリアントのみを昇格させるか、複数のバリアントを昇格させ、Roktの機械学習に各顧客に最適なオプションを決定させることができます。