BIコラボイベント第二弾『eureka Meetup #08 -Pairsのビッグデータ基盤の裏側-』Event Report！

こんにちは！エウレカBIチームで分析担当をしている田中です！エウレカBIチームでは、前回のリクルートライフスタイルさんとの合同Meetupに続き、新たに3/29にもMeetupを開催しました。

当日はエウレカBIチームのメンバー以外に、株式会社トレタ（以下、トレタ）の山口さん、株式会社リクルートライフスタイル（以下、RLS）の前田さんにご登壇いただき、参加者は50名を超える人数となる大盛況のイベントとなりました。今回も、そんな大盛況だったイベントの様子を、お届けしていきたいと思います。

データドリブンな意思決定を加速する！エウレカBIチームのTableau導入事例

最初の登壇者、エウレカBIチームの鈴木からは、エウレカにおけるTableau導入事例についての発表がありました。

エウレカでは、これまで施策を実施するたびに、BIチームが分析クエリを作成し、ダッシュボード（SpreadSheet×GAS×redash）を用意していました。しかしこのやり方では、PMがスピーディーな意思決定をおこなっていくうえで、BIチームのリソース問題がボトルネックになってしまったり、SpreadSheetやredashのメンテナンスがつらいという課題感がありました。

鈴木からの発表では、BIチームがTableauを導入することで、どのように上記の課題の解決を図っていったのかをご紹介しました。

実際に同じチームで働く僕としても、鈴木がゴリゴリ推し進めているTableau導入プロジェクトにはワクワクが止まらず、また社内からの期待感もとても高いものがあります。Tableau導入プロジェクトがこれだけ社内でも期待されている理由は、やはりTableauの導入が「ただ流行りのツールに飛びつくのではなく、課題解決のために必要だから使う」という納得感のあるものだからではないでしょうか。

また、スライド中には、「実際にどういう課題を感じていたのか」や「どういうシステム構成でTableauを使っているのか」についても記載があり、同じチームの僕にとっても面白い内容だったので、ぜひスライド資料もご覧になってみてください。Tableauに少しでも興味がある方や、かつての僕たちと同じような課題を感じている方にとって、参考になる情報であること間違いなしです！

Cloud Dataflow×digdag サーバーサイドの工数をかけないchangelogの取得方法

次の登壇者は、トレタの山口さんです。山口さんには「changelogと戦う」というタイトルで、DBに登録されているマスタデータの変更ログをいかに分析用途で取得していったか、について発表していただきました。

データ分析に携わる人間にとっては、マスタ系データの時系列変化のログを取る重要性は、痛いほど理解できると思います。

エウレカ BIチームでもdigdagを活用することで、一部そのような仕組みを実現してはいるのですが、トレタさんの取り組みは、さらにその先を行っているなと感じました。特に、Cloud Dataflowとdigdagを組み合わせて使うという構成には、すごく良さみを感じました。悔しい…！

上記の資料では、トレタさんの実際のデータ周りインフラ構成などについてもガッツリと記載してくださっているので、ぜひこちらもご覧になってみてください。僕はもう5周ぐらいしました！

パネルディスカッション

両名からの発表があった後は、エウレカ BIチームのリーダー 鉄本、トレタの山口さん、RLSの前田さんの3名によるパネルディスカッションが行われました。モデレーターは、エウレカCTOの金子が務めました。

ここからは、パネルディスカッションの中で気になったテーマについて、一部ピックアップしてご紹介していきたいと思います。

今もっとも力を入れているプロジェクト

金子（エウレカ）「チームとして、あるいは会社として一番力を入れているプロジェクトについて、普段の業務と絡めて教えてください。」

鉄本（エウレカ）「今、一番力を入れているのはTableau導入プロジェクトですね。いかに速く正確に分析ができるかというところ、意思決定に携われるかというところを重視しています。併せて、分析依頼の窓口を整備していて、Tableauの方にそれらの要望を反映させていくということも進めています。」

山口（トレタ）「一番力を入れているのは、データを使ったプロダクトの部分ですね。サーバーサイドは全社的にも力を入れてはいるが、いくつも並列で動いているものがあるので、データ周りに割けるリソースも限られる。なので、“山口くん書けるんでしょー、書くの好きでしょ？” “はい、好きです！”みたいな感じで、そこ（データに関わる部分のエンジニアリング）に結構力を入れてやっています。」

金子「山口さんのように、“分析×エンジニアリング”両方やっちゃうよーっていう方います？（会場に向けて）」

会場「…（ちらほらいた印象。ぜひエウレカに来てほしいですw）」

前田（RLS）「私たちは、データを整備したり作ったりというフェーズから、そのデータを使って利益を出しなさいというフェーズに来ているので、利益を出すための施策に注力しています。具体的には、レコメンデーションをやったり、営業に対して“こういう風にクライアント様に提案すべきだ”とデータ分析の側からサポートしたり、といったことをやっています。最近、特に力を入れているのは、レコメンデーションの中でもよりリアルタイムなデータを使ったものですね。」

御社のデータの闇について教えてください（赤裸々に教えてください）

金子「闇がある（カオス）だからこそ、そこから結果を出せるということもあるのかなと思うのですが、みなさんが取り扱っているデータの闇について、赤裸々に教えてください。」

鉄本「昔、0/1で管理していたステータス系のカラムがStringになっていて、意図せずon/offという文字列データが一部に入っていました。PHPからGoに移行する際の大規模マイグレーションの時に、とても辛い思いをしました。ここでは言えないような文字列が入っていることもありました（知りたい方は鉄本に直接聞いてみてください）。」

前田「もう闇だらけです。闇を見つけてそっと閉じて帰ってくるなんてことも（笑）。やはり10年以上やっているサービスもあるので、カラムがどんどん追加されていたり欠損があったりということがつらいですね。他には、分析専門外の方がデータを出す時に、ユニークネスの担保などを注意しなければいけないのは難しいなと思いますね。」

山口「闇は死ぬほどあって、僕が全部吸収して綺麗に吐き出すという浄水槽のような役割をしていました（笑）。電話番号が入るはずのところに日本語が入っていたりとか。バリデーションが効いてないのが辛かったです。」

組織内でのデータチームの位置付けは？

金子「組織内でのデータチームの位置付けって、どういったものになっているのでしょうか？」

山口「組織としては、ここ（データに関わるチーム）からプロダクトをつくっていけるような位置付けでいたいな、と。社長がデータイケイケな感じになってくれているので、今のうちにどんどん火をつけていきたいなと思ってやっているところですね。」

前田「今ようやく会社の中で人数も増えてきて、社内でも重要視されているのかなと思っています。インパクトを出せるインサイトをどれだけ出せるか、というところは意識してやっています。最近はチームが社内で信頼を得てきたので、メンバーの知的欲求を満たすような様々な試みも許されている雰囲気がありますね。“何かわからないけど、ここはGPUを使ってみたい！”とか“強化学習やってみたい！”とか。今後もよりそういう試みの割合を増やしていきたいとは思いますね。」

鉄本「データに関わることすべて、というところですね。スタートはレポーティング整備が多かったのですが、段々とマーケティング周り、プロダクト周りの数字を見るようになってきて、社内でも存在感が出てくるようになりました。ユーザーインタビューやアンケートにも関わっているので、本当にすべてですね。」

その他のテーマ

上記のテーマ以外にも、当日のパネルディスカッションで話題に上がったテーマやパネラーの方に、事前回答いただいたテーマに以下のようなものがありました。

• データに携わり始めたきっかけは？
• • 鉄本：データベースを設計から刷新し、マイグレーションを担当したこと
  • 山口：定性調査の会社でのアルバイト
  • 前田：大学時代のゼミでの調査
• 好きなツールとその理由は？
• • 鉄本：BigQuery。とにかく万能。扱いが楽だし、集計早すぎるし、工夫のしがいがある。SQLや関数を書いてて楽しい。
  • 山口：GCP全般。でもやっぱりBigQuery最強ですね。
  • 前田：Tableau , Alteryx , Bigquery , DataGrip , Adobe Analytics どれも作業が捗る。分析スループットが上がりまくるから。
• ぶっちゃけ、扱いに困っているツールとその理由は？
• • 鉄本：redash。クエリの乱立問題… 。あとはAppsFlyer。経路計測用のサードパーティーツールはデバイスごとに挙動が違ったり、うっかりデバッグ漏れで欠損発生したり... と気をつけないと運用上の負債になりうる。
  • 山口：metabase。Tableauとどうしても比較してしまうので、できないことが目立ってしまう。csv Downloadが10,000件ぐらいでコケた時は、やめようかと思った... 。
  • 前田：1．Redshift。データ量と種類が増えすぎてスローダウンしてしまった（改善してますが）。
    　　　2．Adobe Analytics。ユーザ育成が大変。新機能にキャッチアップできていない。
• 御社のデータのどんなところでにやにやしちゃいますか？
• • 鉄本：行動ログが揃っているところ。検索条件などの意識的な好みではなく、実は別の要素に無意識に惹かれているなど、潜在的な好みを訪問や滞在などのログから紐解くことができる。
  • 山口：店舗側のオペレーション、顧客の行動、どちらもデータからみることができるので、来店前から退店までの行動が見えるところ。
  • 前田：1．数千万規模の会員数 が 複数年あるところ。
    　　　2．分析に最適化されたデータマートが便利。専門チームが運用している。
    　　　3．インハウスデータ以外に、提携先や外部データも豊富。
    　　　4．さらに取得を拡大している（チーム判断で追加取得可能）。
• データを使ってこんな価値を産み出した！
• • 鉄本：不正ユーザーの検知。直近7日間のサービス内での行動ログから、怪しいユーザーを検知してカスタマーケアへ自動通知！登録経路や日時、誕生日などの組み合わせから、登録した瞬間に違反者である可能性を検知通知！
  • 山口：常連化する顧客の分析。こういう行動している人は常連化しやすいというパターン作成。
  • 前田：1．機械学習を使ったレコメンデーションや、ソート最適化で年間12億（Min）。
    　　　2．Tableauを使った営業ツールで年間6億。
• 今後、チームをどうしていきたいですか？
• • 鉄本：メンバーの専門性・個性がでてきたので、より尖らせて「Pairs」ならではのユーザー価値を提供していきたい。“早く・正確に意思決定をくだす”ミッションに対して、AIを用いたり、仕組み化してボトルネックをなくしたり、ビジネスセンスを光らせて新たな切り口からこれまでにない価値を産んだり。
  • 山口：各個人に強い分野があるので、そこは伸ばしつつ分業化していくのではなく、領域横断で知見を共有していきたい。例えばですが、分析が強いメンバーでも、データのインフラの部分は弱かったりするので、データのインフラの部分なども共有したい。個人的にですが、チームとしてデータから出発するプロダクトをつくりたいですね。現状あるサービスの分析だけでなく、データからはじまって自分たちで新しいプロダクトをつくれるチームにしていきたいです。
  • 前田：[Responsibility] A/B Testing の勝利のみならず、Insight を蓄積し、組織内に広く共有し、持続的なAnalyticsを実現できるチームにしたい。[Freedom] 現時点ではビジネス的な出口が不明瞭なものでも R&D として試せるようなチームに（責任果たしているからこその自由獲得）。

おわりに

以上、簡単にではありますが、BI Meetupの様子をご紹介させていただきました。

パネルディスカッション終了後には、参加者同士の交流会が開催され、みなさんそれぞれに情報交換などされていたようです。僕自身もデータ分析に関する話やRの話ができて、とても楽しかったです（社内は圧倒的にPython派なので… ）。データ分析界隈の情報交換の場として、今後もエウレカBIチームではどんどんイベントを開催していきたいと思います！

＝＝＝
最後までお読みいただき、ありがとうございます！

田中が所属するエウレカ BIチームの組織における取り組みや、BIに関する新たな知見をお伝えできていれば幸いです。

エウレカでは、新たなメンバーを募集しています！私たちと一緒に『Pairs』を、アジアを代表する国内最大級のオンラインデーティングサービスに成長させたいという方は、ぜひエントリーください。

たくさんのご応募、お待ちしております！

Instagramはじめました**