データパイプライン、アナリティクスツール、機械学習基盤などを、事業の特性に応じて開発運用するデータエンジニアリングはグリーグループの様々な事業を成長させる原動力になり得ます。MySQLベースのログ集計システムの運用を担当していますが、この事業スケールならではの膨大なデータ量の分散処理業務は、他では得られない経験値になっていると思います。
数年前、サーバー耐用年数のトレンドに関連して大規模なデータの引っ越しの必要が生じた際は、少ないスタッフで1年がかりで行いました。膨大なデータ量のため転送に時間がかかり、並行処理の進行に大変苦労しましたが、この規模のRDBMSに関して経験値があるエンジニアが少ない中で、知識がつき自信につながりました。
入社前は、メガベンチャー=イケイケな印象がありましたが、入ってみると実際は思ったよりちゃんとした会社でした(笑)。「どの分野でも専門的な知識を持っている仲間がいて、分からないことがあれば誰かに聞ける」という環境は、異分野の研究をして互いに刺激を与えあった大学の研究室に似ていて、とてもオープンでフラットな雰囲気だと思います。日々、社内で小さな勉強会が開かれているほか、みんなで本を輪読するなど知識のシェアは日常的に行われています。海外カンファレンスに参加させてもらえたり、直接収益が上がらない実験的な開発を行えるのは恵まれた環境だなと思います。
昨年から、希望が叶ってAI開発を兼務しています。翌朝起きたら新しい技術論文がアーカイブされているような先端分野で、論文で読んだ手法を実装して、プロダクト運営をサポートできる可能性があることにやりがいを感じています。 仕事の配分も、データ処理業務をシステム改善し、現在ではAI開発に6割ほど時間を取れるようになりました。課題としては、「すごそうだけど何ができるの?」「今やってほしいことが思いつかない」というような現場の状況と僕たち開発チームの間をつないでいくことです。そのためには新しい技術が溢れる中から活用できるものを選び出し、具体的に伝えていくことがカギだと思います。個人的にはもっと強化学習に詳しくなって幅広く活用したいです。