厳密にキャンペーンの効果を測る方法

ある小売店がキャンペーンを企画し、キャンペーン期間の売上が大きく伸びたとします。多くの関係者は「キャンペーンが成功した」と思い、キャンペーンを企画した責任者の評価は上がるでしょう。しかし「売り上げが伸びたのはキャンペーンのおかげ」と決めつけることはできません。

たまたまお出かけ日和が続いて売上が伸びただけかもしれません。ライバル店に何か問題が発生して、客がこちらに流れてきた可能性もあります。「キャンペーンが成功した」と結論付けるためには、他の条件を同じにして、キャンペーンをやったときとやらなかったときを比較する必要があります。

「ランダム比較試験（RCT）」を使うと、キャンペーンの効果を厳格に測定することができます。RCTでは、対象をランダムに複数のグループに分けて、それぞれ異なる介入をおこないます。その後、各グループの結果を分析して介入の効果を評価します。

小売店のキャンペーンについてRCTをおこなうのであれば、キャンペーンを実施する店舗と実施しない店舗と、ランダムにグループ分けします。2つのグループにおけるキャンペーン期間中の売上等を比較することによって、純粋なキャンペーンの効果がわかります。

多くの企業や組織では、こうした科学的手法で施策の効果を評価する方法がとられていません。それなりの規模の企業でも、施策後の結果だけを見て評価を下しています。結果を見て評価することすらせず、「盛り上がったのでよかったのではないでしょうか」で済ませることもあります。

Googleでは頻繁にRCTがおこなわれています。例えば、検索ページの色の話。新たな配色でリニューアルしたら、クリック率が上がったとします。しかしそれだけでは新たな配色の効果と断言することはできません。

あるプロダクトマネージャーは、効果を検証するためにRCTを仕掛けました。Googleのページを開くと、複数の配色パターンのページ、いずれかがランダムに開くようにしました。そしてどの配色がクリック率が高いのか検証したのです。最終的に最もクリック率が高い配色が採用されました。この配色の変更によって、年間売上が２億ドルもアップしたと試算されています。

このようにRCTは施策の効果を測るのに有効ですが、万能というわけではありません。小売店のキャンペーンの例でいえば、複数店舗がないとRCTの実施は難しくなります。１つの店舗で時期を変えて複数回キャンペーンを行ったら、「時期の違い」という要因がキャンペーンの効果を測定する際のノイズになります。また、複数店舗あっても、一部キャンペーンを実施しない店があるというのは都合が悪い、というケースもあるでしょう。

Googleの例からもわかるように、ネットの世界はRCTと相性がよいのです。同じウェブサイトのアドレスでも、ある訪問者にはAのページを、ある訪問者にはBのページを見せるということが可能です。Googleの場合は、年間1万を超えるRCTを実施しているそうです。