Tip:
Highlight text to annotate it
X
動画5:AdWordsキャンペーンエクスペリメント: テスト結果と統計的有意性の把握
AdWordsキャンペーンエクスペリメントの ステップ3では、テストを実行して結果を
確認する方法を説明しました このレッスンではテスト中に表示される
掲載結果の見方について説明します
キャンペーンのテストを実行すると コントロール用とテスト用の分割データが
キャンペーン単位、広告グループ単位 キーワード単位で表示されます
コントロール用とテスト用の行が 別々に表示されていない場合は
[分割]の下の[テスト]をクリックします
掲載結果の管理画面には 統計的有意性に関するさまざまなアイコンが
表示されるので、比較対象の統計情報に有意な差があるかどうかを
把握できます
統計的有意差とは 偶発的には生じにくい差のことです
統計的有意差の認められなかった統計情報は テスト用の変更による
影響がなかったものと考えられます
グレーの上下の矢印は、統計的有意差が 認められなかったことを示します
何らかの差があったとしても テストの誤差にとどまります
上向き矢印は、統計的有意差の認められる 増加があったことを示します
つまり、テスト用の変更をすべての オークションに適用すると、この統計情報は
増加すると考えられます
下向き矢印は、統計的有意差の認められる 減少があったことを示します
つまり、テスト用の変更をすべての オークションに適用すると、この統計情報は
減少すると考えられます
これらの矢印には3つのレベルがあり 掲載結果が偶発的な要因によるものではなく
テスト用の変更を要因としている可能性の 高さをレベルで示します
上向きや下向きの矢印が1本の場合は 統計情報の増減確率が95%であることを示します
つまり、テスト用の変更を全体に適用した場合 その他の条件がすべて
同じであれば、テストと同様に統計情報が 増減しない可能性は
5%にとどまります
上向きや下向きの矢印が2本の場合は 統計情報の増減確率が99%であることを示します
つまり、テスト用の変更を全体に適用した場合 その他の条件がすべて
同じであれば、テストと同様に統計情報が 増減しない可能性は
1%にとどまります
上向きや下向きの矢印が3本の場合は 統計情報の増減確率が99.9%であることを
示します。つまりテスト用の変更を全体に 適用した場合、その他の条件がすべて
同じであれば、テストと同様に統計情報が 増減しない可能性は
0.1%にとどまります
テスト用とコントロール用の分割割合を 50対50以外でテストした場合
たとえば70対30や20対80などの割合にした場合は コントロール用とテスト用の統計情報を
1対1で比較することはできません たとえば
90対10の割合でテストする場合を考えます テスト用の変更を加えなかったとすれば
テスト用の表示回数100回に対して コントロール用で表示回数900回が見込まれます
したがってコントロール用で表示回数900回 テスト用で表示回数400回の結果が
発生した場合は、表示回数に 統計的に有意な増加があったと考えられます
400という数値は変更を加えない場合の 100という数値を大きく上回っているため
この変更を適用すると表示回数が増加すると 考えられます。数値的に900が400を
上回っていることは 統計的有意性とは関係ありません
分割割合を50対50にすると、 変更による影響がない場合の絶対数が
同数になるため、簡単に比較できます また、50対50以外の分割割合では十分な
トラフィックが集まらない可能性が高いため 通常は50対50でテストすることをおすすめします
ただし独自の算出方法を使用して テスト用の変更が全オークションに
適用された場合に、統計情報が 変化する可能性を予測できるのであれば
この限りではありません