バンダイナムコグループでリリース前ゲームアプリのダウンロード数を予測した話

こんにちは！
バンダイナムコネクサスのデータ戦略部でデータサイエンティストをしている原です。

データ戦略部ではグループ内事業の意思決定に貢献するために、様々な分析PJTを進めています。

前回は自動分析ダッシュボードの紹介をしましたが、今回は別の分析PJTである「リリース前ゲームアプリのダウンロード数予測(以下アプリDL数予測)」について紹介します。

アプリDL数予測とは？

PJTの概要は下記図のような形になります。

IPに関するデータ, 市場に関するデータ, ゲームタイトル固有のデータを用いて統計モデルを構築し、リリース前ゲームアプリのリリース後1年間のDL数、売上を予測します。
そしてゲームタイトル担当プロデューサーが予測結果を参考にして、ゲームタイトルの開発の意思決定や開発計画の修正を行います。

ここまでがPJTの概要になりますが、以下ではPJTの詳細を紹介したいと思います。

なぜアプリDL数予測をするのか？

下記図のように、アプリDL数予測の目的は2つあります。

リリース後1年間の売上予測結果をもとにして、投資金額回収や売上計画実現可能性を確認し、リリース有無の判定、ビジネス計画の高精度化といったビジネス上の意思決定に利用する事を目的にしています。

プロジェクトの進め方

アプリDL予測プロジェクトは下記図のように4つのフェーズで進めています。

最初のヒアリングフェーズはゲームタイトル担当者の依頼からスタートし、分析に必要な情報のヒアリングを行います。
次の分析実施フェーズでは分析用データの受領、分析方針設計、分析(モデル開発含む)を行います。
その次の分析レポートフェーズでは報告用の分析レポート作成をした後にゲームタイトル担当者への報告を行います。

ここまででPJTは一旦終了となりますが、リリース後には振り返りも行っています。
最後の振り返りフェーズではDL数実績と予測結果の乖離を確認し、乖離が多かった場合には要因を調査し、その知見を別タイトルのアプリDL予測に活かす形にしています。

またPJTの進め方の特徴的なポイントとして、データサイエンティストが全フェーズに関わるという点があります。
(言い換えるとデータサイエンティストの裁量が大きいと言えます。)

一方のデータストラテジストは、プロジェクト成果物活用の為のビジネスフロー作成、事業やIPレベルでのプロジェクト管理、新規プロジェクト立案といった領域で力を発揮する形を取っています。

分析手法

予測モデルの概要

予測モデルの概要は下記図のような形になります。

この予測モデル作成にあたって、特徴的なポイントは以下2点になります。
　①データソースが限られているので説明変数の生成に工夫が必要
　②予測モデルは国毎に作成が必要

①に関しては、リリース前のゲームタイトルに関する予測を行う関係上、利用可能なデータがどうしても限定されてしまいます。
そこで、リリース前でも利用可能な「IPに関するデータ」、「(アプリ)市場に関するデータ」、「ゲームタイトル固有のデータ」を用いて予測を行っています。

②に関しては、IPやアプリ市場に関する動向は国毎に異なっているため、国毎に予測モデルの作成を行っています。

予測精度

実際の予測精度についても紹介したいと思います。

下記図はUS市場でリリースをした9個のゲームタイトル(タイトルA～I)を用いて、予測精度を検証したものになります。

横軸はリリースから1年間の累計DL数、縦軸は予測誤差になります。
こちらを見ると、大半のゲームタイトルで予測誤差が5%以内に収まっている事がわかります。
※もちろん全てのゲームタイトルに関して5%の予測誤差に収まるわけではないです。

技術的にチャレンジングな点

アプリDL予測PJTにおける技術的にチャレンジングな点は、効果的な説明変数の生成になります。
(リリース前で利用可能なデータが限られているので)

そこで説明変数生成で実際に工夫した点も紹介したいと思います。

アプリDL数に影響を与える要素を分析していく中で、リリース前のIP認知度とアプリDL数に相関があるのではという仮説を立てました。
ただ定量化しなければ説明変数として利用出来ないので、外部データと内部データを組み合わせて定量化を行いました。
定量化方法の詳細はお伝え出来ないのですが、外部情報であれば例えば「Web上での検索回数」を使っています。

その上でIP認知度とアプリDL数の相関を調査した所、下記図のように高い相関がある事がわかりました。