日本最大級の求人検索エンジンを支えるデータエンジニア

「スタンバイ」のデータエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。 2019年にヤフー株式会社（以下、ヤフー）を傘下に持つZホールディングス株式会社（以下、Zホールディングス）と 株式会社ビズリーチ（現、ビジョナル株式会社）との合弁会社として新たなスタートを切り、 ヤフーをはじめとしたZホールディングスが持つ様々なグループアセットと連携することも可能になりました。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、 その推進をお願いできればと考えております。 ▼具体的には ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案、実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成 ・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持 【開発環境】 サーバーサイド：Scala, Play Framework, ZIO, Flink, Akka フロントエンド：TypeScript, Vue.js, Nuxt.js, Jest, Cypress, Storybook クラウドサービス：AWS（ECS, EKS, Fargate, Kinesis Data Stream, Lambda, EMR, RDS, Aurora, S3, CloudFront, ElastiCache） 仮想化基盤：Docker, Kubernetes 検索：Elasticsearch, Solr,Vespa 分析基盤：fluentd, AWS(Glue, Athena, CDK), Airflow, BigQuery, Google Data Studio, Redash プロビジョニング：Terraform, Ansible 監視：DataDog, Kibana ミドルウェア：nginx, MySQL, ClickHouse その他使用言語：Python, Go, Rust 開発ツール：Github, Slack, Intellij IDEA, Jenkins, JIRA, SlackBot 【期待するご経験】 ・ソフトウエアエンジニアとして業務としてのアプリケーションの開発経験 ・データ処理基盤の設計/構築、または運用経験（1年以上） ・AWS もしくは GCPを利用したサービスの構築経験（1年以上） ・SQL による簡単なデータ分析の経験 【歓迎するご経験】 ・クラウドベースのデータ基盤チームの立ち上げ、チームリードの経験 ・Terraform, AWS CDK などを用いた IaC によるリソース管理の経験 ・Apache Airflow (Amazon MWAA, Google Cloud Composer) などのワークフローオーケストレーションを利用した開発経験 ・AWS Glue, Amazon EMR などによる ETL 処理の開発経験 ・Amazon Athena, Amazon Redshift, BigQuery などの DWH 製品の利用・運用経験 ・Amazon Kinesis Data Streams, Apache Kafka などを用いたストリーム処理の開発経験 ・Apache Spark, Apache Flink 等の分散処理フレームワークを利用した開発経験 ・アジャイル (スクラムベース）での開発経験 (CSM, CSPO, CSD保有者歓迎) 【求める人物像】 ・事業・ビジネスを理解して業務を遂行できる方 ・システムへの組み込みも含めて課題解決できる方