BigQuery

BigQueryのユーザー定義関数(UDF)を使ってみた

こんにちは! アナリストのMです。 日々の業務でBigQueryに触れる機会が頻繁にあるのですが、 恥ずかしながら最近になってユーザー定義関数(UDF)なるものの存在を知りました(汗) ちょっと使ってみて個人的にはかなり便利だと感じたので、 本記事ではUDFを使…

Cloud SDKを用いてGCS上のcsvファイルをBigQueryのテーブルとしてインポートする際に、ちょこちょこ躓いた話

こんにちは! 分析官のMです。 最近、Cloud SDKを用いてGCS上のcsvファイルをBigQueryのテーブルとしてインポートする機会があったのですが、 思いのほか手こずってしまい、解決に1日ほど費やしてしまいました... 本記事では、Cloud SDK初心者の私が主にどこ…

GCP Dataprepで大規模データを扱うときネックになるポイント

どうも、アナリティクス&デベロップメント部のTです。 GCPのサービスの一つ、Dataprepを使えば、GUI上でインタラクティブにデータの集計~整形・加工を行うことができます。 プログラミングコードを書けない人でも手軽にBigQueryやGCS上のデータをいじること…

SQLおすすめの勉強法・参考書

SQLのクエリを書きリレーショナルデータベース(RDB)から自在にデータ集計ができることは、データアナリスト必須の素養の一つです。 しかし、学生のうちは使う機会がない人がほとんどで、 新卒入社していきなり使うことになり面食らう人も多いでしょう。 また…

Jupyter notebookからGCPのBigQueryにアクセスしてPandasのDataFrameに読み込む方法

構造化された大量のデータをいつでも分析に使える形で持っておきたい!というケースでよく使うのが、Google Cloud Platform(GCP)のBigQuery(以下BQ)です。 標準SQL文と互換性があるので、普段からRDBを扱っている人にも無理なく使えると思います。*1 一方で…