こんにちは、高橋です。
https://jisedai.work/takahashi/
突然ですが、ビッグデータ、ご存知でしょうか?
そうですビッグなデータです!
ビッグな分ただそこにあるだけでは邪魔になってしまうものです。
そこでビッグなデータをより使いやすいようにし、データを活用するためのデータ分析基盤を作っています。
こんな方法でやっていたこともありました。
https://qiita.com/ta-tak/items/c0b468a127ee4acf2737
データをためて、使いやすくして、活用しやすくするデータ分析基盤を作っています。
なので、データを使うためのBIツールの整備まで担当することもあります。
私と一緒にこのデータ分析基盤を強化してくれる、エンジニア・データアナリストを募集します。
<なぜやるか>
2020年は全世界で59ゼタバイトを超えるデータが、生成・消費されるだろうと言われています。
そのうちの0.00000000...1%はディップが生み出し消費しているデータです。
全体の中から見るとごくわずかな量ではありますが、それゆえ1バイトもデータを無駄にするわけにはいきません。
それはこれから生まれてくるデータだけではなく、過去に生まれたデータに対してもそうです。
そこで、データ分析基盤を一緒に開発してくれるメンバーを募集します。
これから生まれてくるデータを暖かく迎え、過去に生まれたデータに活躍の機会を与えてあげられるデータ分析基盤を一緒に作りませんか?
<こんなことやります>
現在はGCPをメインに分析基盤を構築しています。
バッチ処理がメインとなっていますが、今後CDCを利用したストリーミングでのデータ取り込みにも対応していきます!
小規模なチームなので、技術のアップデートも頻繁に行なっています。
<環境>
Google Cloud Platform
BigQuery
Dataproc (Spark)
CloudComposer (Airflow)
Google Data Studio
Embulk
Digdag
<使用言語>
Scala
Python
Java
ここに上がっているもの全てに知識がある必要はありません!
データ分析基盤に興味がある方はもちろん、トライ&エラーで開発を進めるのが大好きな方も大歓迎です!!
また、データを蓄積してするだけではなく、蓄積したデータに価値をつけて送り出すまでがデータ分析基盤です。
・データ分析基盤に興味がある方
・パブリッククラウドを利用した基盤構築に興味がある方
・色々な技術・最新の技術に興味のある方
ご応募お待ちしております!
プログラムはちょっと。。。という方でもKPIの設計に興味があったり、BIツールを利用したデータの可視化に興味がある方も大歓迎です!
データ分析基盤を開発するチームは現在私一人ですが、他のチームにはこんな方がいます。
https://jisedai.work/syain-matome/