GCP

Cloud SDKを用いてGCS上のcsvファイルをBigQueryのテーブルとしてインポートする際に、ちょこちょこ躓いた話

こんにちは! 分析官のMです。 最近、Cloud SDKを用いてGCS上のcsvファイルをBigQueryのテーブルとしてインポートする機会があったのですが、 思いのほか手こずってしまい、解決に1日ほど費やしてしまいました... 本記事では、Cloud SDK初心者の私が主にどこ…

GCP Dataprepで大規模データを扱うときネックになるポイント

どうも、アナリティクス&デベロップメント部のTです。 GCPのサービスの一つ、Dataprepを使えば、GUI上でインタラクティブにデータの集計~整形・加工を行うことができます。 プログラミングコードを書けない人でも手軽にBigQueryやGCS上のデータをいじること…

Jupyter notebookからGCPのBigQueryにアクセスしてPandasのDataFrameに読み込む方法

構造化された大量のデータをいつでも分析に使える形で持っておきたい!というケースでよく使うのが、Google Cloud Platform(GCP)のBigQuery(以下BQ)です。 標準SQL文と互換性があるので、普段からRDBを扱っている人にも無理なく使えると思います。*1 一方で…