実験はどのくらいの期間実施すべきですか？

ホールドアウトテスト

ページホールドアウト実験は長期的な研究です。複数のサイクルにわたるリピート行動を捉えるために、ホールドアウト実験を十分な期間実施することをお勧めします。これは、サイトの平均リピート頻度によって異なります。例えば、小売サイトではリピート顧客が平均して月に1回購入するかもしれませんが、旅行サイトでは6か月に1回かもしれません。

注記

顧客のリピート購入率を正確に測定し、影響について自信を持って判断するためには、6か月以上かかることもあります。

多変量テスト

十分なデータを収集するために、実験を少なくとも2週間実施することをお勧めします。少なくとも1つのバリアントがベースラインを95%の確率で上回るまで、実験を終了しないでください。

注記

結果について自信を持って判断するためには、30日以上かかることもあります。