株式会社ライトコード

BigQueryのストレージ課金モデル【株式会社ライトコード】

BigQueryデータセットのストレージ消費単位もともとは論理バイト単位で課金されていたのですが、2023年7月の料金改定から、データ圧縮後の物理バイトを課金の単位にすることもできるようになりました。論理・物理というのはテーブル詳細画面にも記載されていて、論理がデータをそのまま保存した場合の容量で、物理は圧縮して実際にかかっている容量のことのようです。料金一見、物理バイトのほうが高く見えるのですが圧縮率が1/10になることもあるようで、その場合は物理バイトで課金したほうが安くなります。物理バイトの場合はタイムトラベル用のストレージも含めて計算する必要があります。（逆に論理バイトはタイムト...

Bigquery MLを試してみた【株式会社ライトコード】

はじめに今回は BigQuery ML について触れてみたいと思います！BigQuery ML は、Googleが提供する機械学習を手軽に実行できるサービスです。最大の特徴は、機械学習の専門知識がなくても、SQL を使うだけで複雑な機械学習プロセスを実行できる点にあります。この記事では、公式チュートリアルに沿ってGoogle Analytics のデータを活用し、ユーザーが購入するかどうかを予測する回帰モデルを作成し、その結果を分析してみます。データセットを作成まず、Google Cloud コンソールで BigQuery ページに移動します。以下の手順でデータセットを作成してください。...

BigQueryのMaterialized Viewにパイプラインを移行したかった【株式会社ライトコード】

はじめに所属しているプロジェクトにて、稼働中のETLパイプラインの一部をマテリアライズドビューに置き換えることでコストの削減ができないか検討を行いました。現在はAirflowにてBigqueryInsertJobOperatorを使用してSQLを実行するパイプラインが存在しますが、増分更新にするにはひと手間かかるためほとんどが全件更新で実行されています。比較的シンプルなデータの正規化・標準化を行っているレイヤーのクエリをマテリアライズドビューに置き換えることができないかを試みました。結果として移行は断念したのですが、そこまでに行った調査・検討を書いていきます。移行対象のデータセットはオン...

BigQueryのテーブルの外部データとしてスプレッドシートを使う【株式会社ライトコード】

はじめに新田こんにちは。今回はBigQueryのテーブルの外部データとしてスプレッドシートを利用する方法をまとめたいと思います。特にマスタ系のデータを扱うような場合はデータの更新が面倒ですが、この方法を使うことで更新が楽になりました。外部データとするスプレッドシート今回は例としてこのようなスプレッドシートを作成しました。競馬の種牡馬のマスタデータのようなデータです。stallion_nameは種牡馬の名前、bloodlineはその馬の血統の系統を表していて、country_typeは国タイプを表します。毎年新たな種牡馬がデビューするのでその度に更新しなくてはなりません。BigQueryの...

【GCP】BIG QUERYを触り程度に理解してみる【株式会社ライトコード】

弊社エンジニアの記事になります。はじめにこんにちは！今回は高速データ処理を行えるBIG QUERYを調べ、実際に使ってみるところまでやっていきたいと思います！調べるきっかけ業務でBIG QUERYを使用して「あるURLにどのくらいアクセスが来ているのか」ということを調べる機会があり、BIG QUERY自体触ることが初めてだったのでこの機会に初歩的なBIG QUERYの使い方を理解してみようと思いました。BIG QUERYとは？BigQuery は、ML、地理空間分析、ビジネス インテリジェンスなどの組み込み機能を使用してデータの管理と分析を支援する、フルマネージドのエンタープライズ デー...