リードデータエンジニアへの第一歩～エンジニア研修レポート～

こんにちは、メンバーズデータアドベンチャーカンパニー（以下DA）のエンジニア事業部でデータエンジニアをしている柏木です！

2023年7月からDAのエンジニア事業部で実施している研修に参画しており、その研修内容について紹介します。本記事では、本研修の背景や目的、私自身が参加した理由、研修の実施内容、研修における振り返りと学びについて、記載します。

本研修の背景および目的について

この研修の背景として、これまでエンジニア事業部ではオンボーディング研修の後は、現場での実務経験でスキルを磨く体制となっていました。だんだんとエンジニア事業部が拡大するなかで、エンジニアの価値向上のための機会創出として、チームで1つのテーマに取り組む形の研修を2023年10月頃から開始しています。

私が参画した当初の研修の目的は、「データ分析基盤開発の流れを経験し、開発内容を自身の言葉で他者に伝えることができる状態となること」でした。データ収集や蓄積、抽出、可視化などデータ分析基盤の開発工程に参加し、開発経験を得ることに重きを置いた研修内容です。

私自身もデータエンジニアとしてのキャリアは浅く、データ分析基盤の開発経験を得ることを目的に、本研修に参加しました。

本研修の実施内容について

本研修では、Web記事をデータとして扱い、複数の記事から「キーワード関連キーワード検索」ができる機能構築を実施しました。

流れとしては、次の2つの方法で実装しています。両機能とも、キーワード関連キーワード検索を実施することが可能となっております。

Lookerでの可視化（図1）

①Qiita APIデブログデータを収集
②データレイクにデータを収納
③キーワード・タグ検索用のデータマートを作成
④Lookerで可視化

　図1.Lookerでの可視化のアーキテクチャ

エンジンでの可視化（図2）

①Qiitaから記事のタイトル・タグデータを取得
②ディスクへ格納(データレイク)
③MySQL、ElasticSearchにデータ挿入
④ユーザーの入力を元に、記事を一括取得
⑤一括取得した記事からキーワード抽出
⑥エンジンでデータを可視化

図2.エンジンでの可視化のアーキテクチャ

本研修を通しての振り返り、学び。

研修の目的である、「データ分析基盤の開発経験を得ること」については、開発ができたのでまずは達成できたと思います。今後に繋げていくのは、参加したメンバー各々が継続的にスキルアップをして経験として昇華していく必要もあると考えています。

また、これまでの情報がドキュメントとして整理が不十分だったため、途中から参画し、実装のみを行った身としては、現状どのようになっているかなどのキャッチアップを行いずらかったり、実際の現場だと保守・メンテナンスを行うはずなので、その際の課題を副次的に学ことができ大変貴重な経験となりました。

データ分析基盤の開発経験として、可視化の機能を中心に自身で手を動かし、構築した経験は今後につながる学びだったので、自身でも継続してスキルアップ・開発経験を養っていきたいと考えています。

データ分析基盤構築の研修は一通り終わり、現在は次のテーマでの研修に移っています。スキルアップし、顧客への提供価値向上や社会課題解決に繋げていくことを忘れずに、今後の研修にも取り組んでいければと考えております。

エンジニア事業部の研修ならびにメンバーズデータアドベンチャーに興味があれば、ぜひお声がけください。