株式会社リクルート / インフラエンジニア
分析チームのためにデータパイプラインを構築した
分析チーム向けにデータパイプラインを設計から行い、構築しました。パイプライン内ではアプリケーションのデータベースからデータを取得、圧縮し、社内のデータ分析基盤に転送し、転送が正常に終了した時やエラーが発生した際にはSlackに通知されるようにしました。 データの取得と圧縮、転送する部分はEmbulkをインストールしたコンテナをecspressoを使用してECSタスクとして起動し、アラートにはAWS EventBridgeとSlack APIを、パイプラインの実行基盤にはGithub Actionsを使用しました。AWS上のインフラは全てTerraformを使って構築しました。