はじめに

技術開発部の林田と申します。

前職ではWebシステムの開発をしており、去年よりバックエンドエンジニアとしてフェズのデータ基盤の開発・運用に携わっています。

この記事では、Google Cloud SDKのgcloud, bq, gsutilコマンドを実務のどんな場面で使ったかについて紹介しています。

背景

データ基盤チームでは機能の素早いデリバリーや変更差分を大きくしすぎないためにデプロイ・検証を毎週行なっています。

別の記事で紹介されているデータ基盤の各サービスのうちCloud RunやDataflowなど個別のアプリケーションについてはGitフローに則ってデリバリーが自動化されていますが、Cloud StorageやBigQueryなどと連携した動作やリリースごとの検証項目についてはGCP上で検証する必要がある状態です。

簡単にまとめると下記の通りです。

自動化済み

• リソースの権限管理
• APIの有効化

手動実行

• データセット・バケットの作成
• データのマイグレーション
• Cloud StorageやBigQueryなどと連携した動作確認

そこで、

• 検証で使用するデータの準備や本番環境のデータの移行など、BigQuery・ストレージオブジェクトの操作やCloud Functionsの呼び出しなどで似たような呼び出しを複数回行うことがある。
• ブラウザの遷移が単純に遅い
• チーム内で検証の自動化の話題が上がっている。

などの理由から、上記の手動で行っていることをCLIでの操作にすると手間が少なく効率が良いのではないかと思い試してみた次第です。

環境