auコマース&ライフ株式会社 / マーケティング企画部データソリューショングループ エンジニア
DWHとの連携システム構築
この頃からDWH構築をしているチームに参画し、Datalakeに保存しているデータを、日次でDWHが利用できるようにするのがゴールとして求められた。 DWHはGCPのBigQueryを用いており、BigQueryにデータを取り込む仕組みはCloud Composerを用いて既に構築済みのため、s3からgcsへ転送するワークフローを新規で開発した。 全てのワークフローは監視のためslack通知を実装しており、毎朝それを見ることで運用の負荷を下げるようにした。 またワークフローはイベント駆動によってGCPと連携するようにしたため、バッチ処理が落ちていたとしても、簡単にリカバリできるような仕組みにした。 インフラのIaaC化もこの頃から進めており、全てのクラウドリソースはTerraformで再構築している。 - AWS - StepFunction - ECS, Fargate - Lambda - GCP - cloud function - pubsub - cloud composer - BigQuery - OSS - Terraform - golang - node.js