Hacobuデータエンジニア: 物流情報プラットフォーム構築へのチャレンジ

Hacobuは 「持続可能な物流インフラを創る」のビジョンのもと、企業や業界の枠を越えた物流ビッグデータの蓄積・活用基盤となる「物流情報プラットフォーム」の構築を目指しています。人手不足や長時間残業といった物流の本質的な社会課題を解決するためには、様々なステークホルダーと連携しながら、データ駆動型のロジスティクスを社会に浸透させる事が必要と考え、そのための手段として、物流DXを推進するSaaS型アプリケーションを提供しています。

アプリケーションが物流現場の課題解決に利用されると、プラットフォーム上に「いつだれが、どこからどこに、どんなモノを、どのように運んでいるか」というデータが蓄積されます。これがサプライチェーンを構成する多くのステークホルダーに広がり、ビッグデータとなれば、社会全体の物流の最適化につながります。

今回はCTO室 室長の三木がデータ基盤の構成と利活用事例をお伝えします。CTO室データチームで実施しているデータ管理に加えて、物流データの利活用方法などをご紹介します。チームでは新たにデータエンジニアを採用することとなりました。こちらの記事を読んでいただくことで、ALL Hacobuで物流情報プラットフォームの構築へチャレンジしている様子をイメージして頂ければと思います。

システム構成

弊社のプロダクトMOVOはAWS上で運用されており、データ基盤はGCPのBigQueryを中心に展開しています。データはデータレイク・データウェアハウス・データマートの三層構造を採用しており、データの取り込みから分析までのプロセスを効率的に管理することを目指しています。

• データレイク
• • Rawデータの保管場所としてCloud Storageを使用し、BigQueryからは外部テーブルとして参照しています。個人情報やその他の重要情報も含まれる状態となっているため、閲覧権限を制限しています。
• データウェアハウス
• • データレイクから加工したデータを中間テーブルとして格納しています。個人情報やその他の重要情報はマスクされているため、この層以降は基本的に全社員に公開しています。
• データマート
• • 特定用途向けのデータセットを管理しています。

データレイクにはMOVOデータを始めとして、契約情報やNotionデータ、会計情報など多様なデータが集まっています。MOVOデータはAmazonAuroraのスナップショットをparquet形式で取り込んでおり、その他はcsvなどの形でCloudStorageに配置するスクリプトを作っています。

ETLではCloudComposerを利用してデータウェアハウス・データマートを生成しています。可視化にはLookerStudioを利用していて、チーム外のメンバーも徐々に利用できるようになってきています。

事例1: CSが使う顧客用ふりかえり資料の作成

最近社内でデータ基盤の利用者が急激に伸びたのですが、これはMOVO Berth のふりかえりダッシュボードをリリースしたことがきっかけでした。元々お客様とCSがふりかえる時の資料をtableau で出力していたのですが、使える人が限定されており（属人化）、またそのために依頼から資料の完成まで数日のリードタイムが発生している状況でした。そこでふりかえり資料をダッシュボードとして整備し、スクリーンショットを撮ることで資料作成が行えるようにしました。そうするとCSの皆さんがこぞって使うようになってくれました。また、副産物として条件の変えての再集計や今までより長い期間での集計、複数拠点横断での集計が簡単に行えるようになったため、この点も好評でした。

事例2: 共同配送の実現可能性を示し話題に

もう一つは共同配送の分析です。共同配送とは複数の会社が別々に配送していた荷物を、一つのトラックで運ぶことを指します。そもそもどんな荷物を運んでいるかが運送会社間で共有されていないため、実行するにはハードルが高いことが多いです。MOVOにはさまざまな会社のデータが格納されているため、これを活用して共同配送を実現することができるのではないか? という仮説のもとチームメンバー主導で分析を実行しました。その結果として共同配送が行える可能性があることを示すことができニュースリリースとして発表し多くの反響がありました。また、未来の物流共創会議(https://hacobu.jp/news/7544/)の中で多くの会社様とデータを元にディスカッションすることができました。

CTO室データチームと今後の展望

CTO室データチームはリーダーをCTO室室長の三木が兼務し、専任1名と合わせて合計2名で構成されています。専任で働いている高橋さんは2023年6月からチームにジョインしました。その前はコンサルチームであるMOVOストラテジーで活躍していたので、現在は分析を強みとして活躍してくれています(上記の活用事例も高橋さんがアウトプットしてくれました)。

幸いなことに社内での利活用事例も着々と増えており、データ基盤を今後も拡大していきたいと考えています。その上で課題と感じていることが二つあります。一つはデータカタログの整備です。どのようなテーブル/カラムがありそれがどのような意味なのかがデータソースの運用担当者でないと分からない状態で、データチームや担当者への問い合わせにつながっており社員が自身で分析する際にもハードルになっていると感じています。もう一つはデータセキュリティ周りで特に個人情報やその他の重要情報の保護についてです。現在個人情報やその他の重要情報が含まれるデータレイクは全社員には公開していません。そのため、データウェアハウス以降にテーブルを用意してあげないとデータを見ることができません。データレイク上でもカラム単位でマスクを設定できるような仕組みを検討しています。

このような課題がありデータマネジメントをしっかりと推進できる体制を作って社内のデータ利活用を促進するため、チームを拡大していきたいと思っています。今まで私がデータチームのリードを担当していましたが改めてリーダー候補となるデータエンジニアの募集を開始します。まずは一緒に働きながら、ゆくゆくはチームをお任せしたいと考えています。

Hacobuはさまざまな物流のデータが集まってくる会社であり、これを活用することで物流2024年問題を始めとした社会課題の解決にも繋がります。そんな会社のデータを司るチームで働くことに興味を持っていただけた方はぜひお話しさせてください。