株式会社SiNCE 4ヶ月前 フォロー SiNCE 編集部 他5人 Apache Beam (Dataflow) の基本用語とデータの流れ Apache Beamはビッグデータ時代のデータ処理フレームワークとして非常に強力なツール。Google Cloud Dataflowは、Apache Beamで定義されたパイプライン実行のため... もっと見る
株式会社SiNCE 5ヶ月前 フォロー SiNCE 編集部 他5人 【Google Cloud Dataflow】リアルタイムデータ処理の効率化 このブログでは、Cloud Dataflowがどのようにリアルタイムデータストリームを効率的に処理するかについて掘り下げていきます.続きはこちらから。 もっと見る
株式会社ZOZO 約2年前 フォロー 株式会社 ZOZO 【TECH BLOG】全社共通データ基盤を廃止して新しいデータ基盤に引越した話 こんにちは、データ基盤の開発、運用をしていた谷口です。最近は配信基盤の開発と運用をしています。ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています... もっと見る
株式会社ZOZO 2年以上前 フォロー 株式会社 ZOZO 【TECH BLOG】BigQueryで時を遡って過去のテーブルを再構成する はじめにこんにちは、データシステム部データ基盤ブロックSREの纐纈です。本記事では、過去に遡ってBigQueryのデータを参照する方法(以下、タイムトラベルと呼びます)をご紹介します。また、この... もっと見る