芳賀 祐仁

スプレットシートで管理されているrawデータを、Datalakeへ取り込むためのプログラムの新規作成を行った。 特定のシートのセルからデータを取るために、spread sheetのAPIを叩く。 その後BigQueryの型に合わせるためキャストなどを行い、BigqQueryに入れる。 前任者が作成した類似物があったが、イメージ内部にクラウドの認証情報を持つ作りになっており、コンテナ利用も簡素なものとなっていた。 そのため今回はdocker-compioseを用いたり、必要なバイナリのみをイメージに含めることで、コンテナ周りのナレッジを組織に共有した。 以前はJenkinsを用いてバッチ処理を実現していたが、可能な限りパブリックな空間にデプロイした方が運用や保守が楽になるので、クラウドサービスを用いてcron処理を実現するよう提案した。 それによりアプリケーションサーバとして起動させる要件が必要になったため、APIを立てるコマンドと即時に実行するコマンドの２つのエントリポイントを実装した。 BigQueryなどのライブラリを考慮して、利用したアプリケーション言語はgolangを選定した。