「あの施策は売上にいくら貢献したのか？」傾向スコア分析による統計的因果推論の適用事例紹介
受講スキル
・モバイルゲームの運営/施策立案/分析に関わったことがある方 ・データ分析に関わる基礎知識および基礎的用語への理解がある方
受講者が得られるであろう知見
運営ゲームタイトルの定量的な施策効果検証のための基本的思想およびその方法
セッションの内容
モバイルゲーム運営における施策は、プレイの公平性のために各機能を全ユーザーに解放することが基本であるため、A/Bテストの適用が多くの場合困難で、実験による定量的な売上効果の検証ができません（例：新規コンテンツ、課金施策）。ここで得られた観察データを集計すると、一般に「ARPUと施策反応有無に正の相関がある」ことは分かるものの、「施策でARPUが向上した」のか「元々ARPUが高いユーザーが施策に反応した」のか因果関係が判別できず、施策評価が困難となります。この課題は、データドリブンにPDCAを回すことでKPI改善を実施していく上での大きな障害となり得ます。
疫学や社会学などで幅広く用いられている傾向スコア分析は、施策等の効果を受ける確率を特徴量から予測し、その値による補正を加えた推定量を用いることで、このような実験が行えない状況において、観察データから因果効果を推論する代表的な統計的手法です。
本セッションでは、弊社WFS開発プロダクトの実際の課金施策を題材として、傾向スコア分析の適用事例をご紹介します。具体的には、利用した共変量についてまとめ、相関分析・回帰分析・傾向スコア分析の結果を示し、結果の比較検討を行います。さらに傾向スコア予測に他学習器を用いた場合の精度の変化を示し、問題設定により適した予測モデルについての示唆をお伝えします。以上により、同じ課題意識を持たれている全ての事業責任者やアナリストが、より正しい定量的な施策の振り返りを実現していくための技術的知見を共有します。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
東京大学大学院工学系研究科卒。在学中にデータサイエンティストとして金融、web、戦略コンサルティングなど複数業界にてビッグデータ解析および施策提案業務に従事。現在は株式会社WFSにおいて、データに基づいた開発プロダクトの意思決定支援業務に取り組んでいる。
《講演者からのメッセージ》
A/Bテストの適用範囲が限定的なゲーム領域において、取得可能なデータから適切な意思決定を行うことは容易ではありません。一方で、疫学や社会学をはじめ学術的な文脈においても類似した議論が多くなされており、それら知見のゲーム分野への応用可能性は大きいと思われます。
本講演における手法の紹介および結果のご共有が、このような試みの一助となれば幸いです！