実験はどれくらいの期間実施すべきですか？
ホールドアウトテスト
ページのホールドアウト実験は長期的な研究です。私たちは、複数のリピート行動のサイクルを捉えるために、ホールドアウト実験を十分な期間実施することをお勧めします。これは、サイトの平均リピート頻度によって異なります。たとえば、小売サイトではリピート顧客は平均して1ヶ月に1回の購入を行うかもしれませんが、旅行サイトでは6ヶ月に1回の購入を行うかもしれません。
注記
顧客のリピート購入率を正確に測定し、影響について自信を持って判断するためには、最大で6ヶ月以上のデータ収集が必要な場合があります。
多変量テスト
十分なデータを収集するために、実験を少なくとも2週間続けることをおすすめします。ベースラインを上回る確率が95％以上になるまで、実験を終了しないでください。
注記
結果に自信を持つために、データを収集するのに30日以上かかる場合があります。