
次の一週間で何を試すか
週次の数字が良かったときほど、どの施策を続けるかで意見が分かれます。前回の予測に使った条件を残しておくと、実績が伸びた理由と、次の週に試したい仮説を切り分けられます。
次週に否定できる仮説を選ぶ
閲覧数が増えた週に、素材と配信時間を一度に変えると、次の結果を説明しにくくなります。試算で案を比較した後、運用担当者は今週変えられる条件を一つ選びます。
施策案を引き継ぐ際には、期待する方向と判断に用いる期間も伝えると、翌週同じ基準で継続を決められます。
業務の流れ
- 計測値を点検
- 条件を再計算
- 実験案を比較
先週の実績を確かめ、予測に使った前提のどこを更新するかを決めます。候補が二つなら同じ入力で比較し、期待値が大きい方を即採用する前に、人員や素材を今週用意できるかを確かめます。
担当者に渡るもの
週次の計測値を前提に、次に試す施策と素材を比較するための試算です。
処理と判断の条件
入力と設定の版を固定し、公開を伴わない試算として出力を保存します。同じ入力で繰り返したときの対応も追えます。
確認するポイント
週次の素材案を採用した場合に、測定条件まで同時に変わっていないかを見ます。翌週の変化を施策によるものと結論付ける前に、計測対象の違いを確認します。
後任に引き継ぐ判断
人が選んだ実験に期間・予算・終了判断を付け、計測後に予想との差を同じ形式で記録します。
施策担当者は新しい計測値で前提を見直し、同じ条件から候補を比較します。責任者は試算の数字だけで採否を決めず、翌週になれば確かめられる指標と、そのために必要な素材を選びます。
記録で確認できた範囲
保存されたローカル検証では5万試行による計算と出力照合を行い、同じ入力で同じ実行識別子になることを確認しています。空入力はデータなしとなりました。実施した広告施策の成果は含まれません。
自社で試すとき
前週から一つだけ数字が変わった場面で試します。施策を変える理由と、来週どの値なら継続・見直しにするかを会議で合意できるかが判断材料です。
- 用意する資料
- 週次の計測値と施策候補
- 確認する人
- 施策責任者
- 試行後に確かめること
- 試算に使った前提と翌週に測る指標が対応するか