GCPサービス一覧・3行解説 (説明網羅率85%)

最終更新 2020-05-15

Google Cloud Platform (GCP) のサービス一覧と、おおむね 3行の解説です。

コンピューティング

Anthos とは

Compute Engine とは

詳細は こちら

AWS/Azure/GCP サービスマッピングへ (iaas)

Google App Engine (GAE) とは

AWS/Azure/GCP サービスマッピングへ (paas)

Kubernetes Engine (GKE) とは

Docker は Linux 内で独立したコンテナというものを立ち上げて、 その中はプロセスも CPU もメモリも隔離されていますよというもの。 ある意味「それだけ」しかできないのが Docker。 例えば Web サービスを立ち上げるとして、複数マシンで同じコンテナを動かしたり、 複数コンテナにロードバランシングしたり、 リクエストが増えてきたらコンテナを増やしたり (オートスケール)、コンテナが死んだら再起動したり、 といった機能は Docker には一切ない。管理用プログラムを作り込めばできるけど、かなり大変。

そこで各社が、Docker に欠けている管理機能を開発した。これを「コンテナオーケストレーションサービス」と呼ぶ。 Amazon が開発したコンテナオーケストレーションサービスが Amazon ECS。 Google が開発したのが Kubernetes。Docker 社が開発したのが Docker Swarm。 いずれもできることは似ているが、コマンドや設定ファイルなどは全然違う。

2017年、AWS も、Azure も、Docker 社も Kubernetes に対応したので、 このままいくと Kubernetes がデファクトスタンダードになりそう。

AWS/Azure/GCP サービスマッピングへ (container)

Cloud Functions とは

詳細は こちら

AWS/Azure/GCP サービスマッピングへ (serverlesspaas)

ストレージとデータベース

Google Cloud Storage とは

詳細は こちら

AWS/Azure/GCP サービスマッピングへ (storage)

Cloud Storage Transfer Service とは

GCS から GCS、Amazon S3 から GCS、http/https から GCS、のいずれかでファイルを転送するサービス。転送先は GCS のみ。

1回限りの転送か、1日1回N時M分の定期転送のいずれかで実行する (毎時起動や、毎月N日起動はできない)。Stroage Transfer Service 自体は無料なので、Compute Engine を立ち上げて gsutil cp や gsutil rsync を実行するより経済的かつ高速。

2019/2 現在、gsutil 等のコマンドで投入することができず、超絶使いづらい GCP コンソール (管理画面) から投入するか、Cloud SDK ライブラリ経由で自作するしかない。また、2019/2 現在、タイムアウト・エラー通知機能がないため、ミッションクリティカルな用途で使うのは微妙。

Cloud SQL とは

詳細は こちら

AWS/Azure/GCP サービスマッピングへ (rdbms)

Cloud Bigtable とは

AWS/Azure/GCP サービスマッピングへ (nosql)

Cloud Spanner とは

AWS/Azure/GCP サービスマッピングへ (distributed-rdbms)

Cloud Datastore とは

AWS/Azure/GCP サービスマッピングへ (nosql)

永続ディスク とは

HDD・SSD 選択可能。最大容量 64TB。 実体としてはネットワーク経由のストレージ。 基本的には AWS の EBS と同様に 1つの GCE・GKE に接続して使うものであるが、 EBS と異なり、リードオンリーの場合は複数インスタンスに接続するとでデータ共有が簡単に行える (ただし全インスタンスからリードオンリーであるため、更新はできない。使い所は限定されるだろう)。

永続ディスクに対し、スナップショットやイメージの作成が行える。

GCP・GKE に接続可能なストレージで、永続ディスク以外のものに「ローカル SSD」がある。 これは冗長性や永続性が保証されていないが、NVMe 接続ができるので超高速である。

AWS/Azure/GCP サービスマッピングへ (iaasstorage)

Cloud Memorystore とは

AWS/Azure/GCP サービスマッピングへ (cache)

Cloud Filestore とは

複数の GCE や GKE から NFS でマウントできるファイルサーバ。最大63TB。

なお、Cloud FiRestore とは別物である。

AWS/Azure/GCP サービスマッピングへ (filestorage)

Cloud Firestore とは

Cloud FiLestore とは別物である。Cloud Datastore の後継となる NoSQL 系データベース。2019/01/31 GA。

ネットワーキング

Virtual Private Cloud (VPC) とは

AWS/Azure/GCP サービスマッピングへ (network)

Google Cloud Load Balancing とは

AWS/Azure/GCP サービスマッピングへ (lb)
AWS/Azure/GCP サービスマッピングへ (certificate)

Cloud Armor とは

AWS/Azure/GCP サービスマッピングへ (waf)
AWS/Azure/GCP サービスマッピングへ (ddos)

Cloud CDN とは

詳細は こちら

AWS/Azure/GCP サービスマッピングへ (cdn)

Cloud Interconnect とは

Cloud DNS とは

詳細は こちら

AWS/Azure/GCP サービスマッピングへ (dns)

Cloud VPN とは

AWS/Azure/GCP サービスマッピングへ (vpn)

ビッグデータ

Google BigQuery とは

Amazon Redshift と Azure SQL Data Warehouse との比較は こちら。BigQuery FAQ は こちら。

AWS/Azure/GCP サービスマッピングへ (dwh)
AWS/Azure/GCP サービスマッピングへ (bigdata-analysis)

BigQuery Data Transfer Service とは

Cloud Data Fusion とは

Cloud Dataflow とは

ある入力を元に、何かの処理をして、出力するというデータ処理を定義しておくことで、 GCE インスタンスを自動的に複数立ち上げ、分散処理をして、処理が終われば終了してくれるサービス。

「無限にデータが発生し、データ遅延・欠損がありうるストリーミングデータ」と 「範囲が限定されて確定しているバッチデータ」の両方を (ほぼ) 同じソースコードで処理できるのが特徴。 入力は Cloud Pub/Sub・Cloud DataStore、出力は Cloud BigQuery・Cloud Bigtable など。

詳細は こちら

AWS/Azure/GCP サービスマッピングへ (stream)

Cloud Dataproc とは

AWS/Azure/GCP サービスマッピングへ (bigdata-analysis)

Cloud Composer とは

フロー定義は画面上で操作するのではなく、DAG ファイルという Python スクリプトをゴリゴリ書いて作る。 Pub/Sub・BigQuery・Dataflow・sh スクリプトなど、基本的な操作ライブラリは準備されているので、 (比較的) 簡単に書ける。エラー通知・リトライ回数・リトライインターバル等、基本的な機能は実装されている。

Cloud Composer は Apache Airflow というフリーのワークフローエンジンを GCP のマネージドサービスとして取り込んだもの。

月間 $350 程度のコストがかかることに注意。

さらなる情報は下記を参照。

• Composer FAQ
• Composer チュートリアル

AWS/Azure/GCP サービスマッピングへ (job-flow)

Cloud Datalab とは

AWS/Azure/GCP サービスマッピングへ (bigdata-analysis)

Cloud Dataprep とは

AWS/Azure/GCP サービスマッピングへ (data-cleansing)

Cloud Pub/Sub とは

よくあるケースとしては、 ある処理の後にメール送信・PDF等のファイル生成・集計処理・データ削除・後続バッチ起動などを行いたい場合などなど。

メッセージの順序性は保証なし。 「トピック」に対する Pub (パブリッシュ) と、「サブスクリプション」に対する Sub (サブスクライブ) という 2段階からなり、「トピックA → サブスクリプション X, Y」「トピックA, B → サブスクリプション X」などと 設定することで、1対他・他対1 といったこともできる。 メッセージ取得には Pull と Push の 2通りの方法がある。

詳細は こちら

類似サービスとして Cloud Tasks がある。機能としては似ているが、
方向性としては Pub/Sub は大量のイベントデータ処理に向いている。Cloud Tasks はジョブの連携に向いている。ただし 2019/4 現在では Cloud Tasks は GAE へのキューしかないなど機能が不十分なため、しばらくは Pub/Sub をジョブ連携用に使うのがよいかもしれない。

AWS/Azure/GCP サービスマッピングへ (messaging)

Google Genomics とは

Google Data Studio とは

競合は Tableau (タブロー) やマイクロソフトの Power BI。2019/2 現在、無料。

2018/11、「日本では DataStudio はデータポータルという名前に変わります」という謎のアナウンスがあった。おそらく商標問題と思われるが、一部地域だけ名前が変わるってアリ?

AWS/Azure/GCP サービスマッピングへ (bi-tool)

モノのインターネット (IoT)

Cloud IoT Core とは

機械学習

AWS/Azure/GCP サービスマッピングへ (iot-base)

Cloud AutoML とは

• あなたが料理投稿サイトを運営しているとして、 「食材や料理などの写真をアップロードするのは構わないが、いたずらでそれ以外の写真をアップロードされるのは困る。とはいえ人力ですべてチェックするわけにもいかない」 という悩みがあるとする。食材・料理の写真と、それ以外の写真を適当に集め、画面上で「これは OK」「これは NG」という結果を指定すると、 よい感じに OK/NG 判定を行ってくれる機械学習モデルを作成できる。
• 監視カメラから画像を定期的に取得し、不審者がいる場合に通知させたいとする。ただし、車が通っただけであれば通知しないとする。 人がいる画像と、車が写っている画像、人と車が写っている画像などを準備し、それぞれ通知対象か否かを分類すると、監視通知の機械学習モデルが構築できる。

2019/3 現在では下記サービスが展開されている。

• AutoML Vision (ベータ)：画像認識サービス。Cloud Vision API の機械学習版。
• AutoML Translation (ベータ)：テキストの翻訳サービス。Cloud Translation API の機械学習版。
• AutoML Natural Language (ベータ)：テキスト分析サービス。Cloud Natural Language API の機械学習版。

それぞれ似通った既存サービスがあるが、例えば「Cloud Vision API は入力画像が同じであれば誰が使っても同じ結果を返すもの」「AutoML Vision」は機械学習結果に応じてカスタマイズできるもの、と考えるとよいだろう。

AWS/Azure/GCP サービスマッピングへ (ml)
AWS/Azure/GCP サービスマッピングへ (text-analysis)
AWS/Azure/GCP サービスマッピングへ (translation)
AWS/Azure/GCP サービスマッピングへ (image-analysis)

Cloud Machine Learning Engine とは

AWS/Azure/GCP サービスマッピングへ (ml)

Cloud TPU とは

AWS/Azure/GCP サービスマッピングへ (fast-ml)

Cloud Jobs API とは

Cloud Natural Language API とは

翻訳結果を機械学習によりカスタマイズできるサービス。類似サービスとして AutoML Natural Language がある。

カスタマイズできない翻訳サービスは Cloud Translation API。

AWS/Azure/GCP サービスマッピングへ (text-analysis)

Cloud Speech-To-Text とは

https://www.voice-pro.jp/ にある「G-01 CM原稿（せっけん）」の音声ファイルを Cloud Speech-To-Text でテキストに変換してみた (2018/05/05 実施)。

自動生成されたテキストは下記のとおり。

“無添加のシャボン玉石鹸ならもう安心天然の保湿成分が含まれるため肌に潤いを与え健やかに保ちますお肌のことでお悩みの方はぜひ一度無添加シャボン玉石鹸をお試しください” “おまとめは012000559合まで”

⇒ 句読点がない。「お求めは」が「おまとめは」になっている。電話番号の「5595」が「559合」になっている。

続いて、「G-22 医療WEBドラマ 　医師役」の変換結果は下記のとおり。

“血管収縮には血管平滑筋細胞内のカルシウム濃度が関与しており血管平滑筋細胞内へのカルシウム流入をブロックすれば血管収縮を抑制できますしかし近年カルシウム流入とは独立した経路としてロックが見出され血管収縮に深く関与していることが明らかになりました”

⇒ 句読点がない以外は問題なし。

AWS/Azure/GCP サービスマッピングへ (speech-to-text)

Cloud Text-To-Speech とは

AWS/Azure/GCP サービスマッピングへ (text-to-speech)

Cloud Translation API とは

機械学習によりカスタマイズできる類似サービスとして AutoML Translation がある。

AWS/Azure/GCP サービスマッピングへ (translation)

Cloud Vision API とは

機械学習によりカスタマイズできる類似サービスとして AutoML Vision がある。

画像ではなく動画の解析サービスについては Cloud Video Intelligence API を参照。

AWS/Azure/GCP サービスマッピングへ (image-analysis)

Cloud Video Intelligence API とは

動画を解析して、シーンの切り分けを行う。例えば室内から屋外に映像が切り替わった場合、新しいシーンに移ったと判断する。そのシーンごとに「犬」「花」「ランニング」などのラベル付けを行う。また、アダルトコンテンツを含むかどうかの判定や、動画中の文字を抽出する OCR 機能などもある。

動画ではなく画像の解析サービスについては Cloud Vision API を参照。

AWS/Azure/GCP サービスマッピングへ (image-analysis)

ID とセキュリティ

Cloud IAM とは

GCP の権限管理を行う仕組み。IAM は「アイアム」と発音することが多いようだ。 他のアカウントに対し、プロジェクト全体のオーナー権限・編集者権限・閲覧者権限などのロールを付与したり、 さらに細かく Compute Engine の管理者や、Compute Engine の OS ログインのみなどのロールを与えるなどの管理が可能。 さらにより詳細な権限管理ができるカスタムロールという仕組みもある。

「どのアカウント」に権限を付与するかについては、Google アカウントで特定するが、 おもしろいのは Google グループに対しても権限付与ができる。 もともと Google グループは、メーリングリストやネットニュースのようなもので、 複数人で議論などを行うサービスであるが、これを利用し、複数のアカウントをグルーピングして、 そのグループ名に対し、権限の付与が行える。

例えば

• myproject-engenieer-production-admin … 本番環境管理者グループ
• myproject-engenieer-production-monitor … 本番環境参照者グループ
• myproject-engenieer-develop-admin … 開発環境管理者グループ

という Google グループを作成してそれぞれに適切なロールを付与しておき、 新規メンバ追加時は「本番環境参照者グループ」と「開発環境管理者グループ」にメンバを追加する。 本番環境のリリースやデータメンテ時のみ、「本番環境管理者グループ」に作業者を追加することで、 誤って平常時に本番環境を壊してしまうというリスクを回避できる。

また、アプリやバッチに対して権限コントロールをしたい場合、「サービスアカウント」 というものを利用する。これは「Google アカウント」のようなものであるが、 人間が使うものではなく、アプリやバッチが使うものである。 例えば DB からデータを読み取って適切な宛先にメール送信を行うというバッチがある場合、 myproject-send-mail-batch というサービスアカウントを作成し、 DB アクセスのロールは付与するが、Cloud Storage に関するロールは付与させないことで、 セキュリティを高めるといった使い方をする。

2018/1 現在、Google Cloud IAM の最大の欠点は「allow はできるが deny ができないこと」。 「このアカウントは全権限を付与するが、DB アクセスに関しては禁止」 という書き方ができず、「DB アクセス以外の全権限を付与する」という手間のかかる管理方法しか取れない。 改善を期待したい。

なお、IAM では、例えば Cloud Storage について 「管理者」「オブジェクト管理者」「オブジェクト作成者」「オブジェクト閲覧者」 といったロールの付与ができるが、 「このアカウントは、このバケットのみ閲覧可能」といった細かな制御はできない。 この場合、Cloud Storage の「アクセス制御リスト (ACL)」にて制御することになる。 Cloud Storage だけではなく、BigQuery などのストレージ系にアクセス制御リストが備わっている。

AWS/Azure/GCP サービスマッピングへ (iam)

Cloud Identity とは

Cloud Identity-Aware Proxy とは

Cloud Identiy-Aware Proxy は、Compute Engine・GAE・GKE ・ロードバランサの前段に、認証のレイヤを挟み込むサービス。省略して Cloud IAP と書くことも多い。

下図は GAE の Web サービスについて Cloud IAP を有効化した状態で、ブラウザでアクセスしたときに表示される認証フォーム。アクセス者が Google アカウント等を持っており、Cloud IAP にてその Google アカウントが登録済みであれば、サイトにアクセスすることができる

通常の GCP の IAM と同様に、Google アカウント・Google グループ・G Suite の単位で許可登録が可能。逆に言うと、Google アカウント等を持っていないとアクセスできないので、一般向けサイトの認証などに使うものではない。管理画面などの用途にはちょうどよいのではなかろうか。

GAE・GKE 側ではどのアカウントでアクセスしているかという情報は取れるので、さらにサイト内で権限分けが必要であればアプリ側で実装するか、IAM で権限設定して IAM に権限判定をさせるとよい。

GCPチュートリアル にて、GAE との連携を説明しているので参考にしてほしい。

Managed Service for Microsoft Active Directory とは

AWS/Azure/GCP サービスマッピングへ (directory)

Cloud Data Loss Prevention API とは

一方 GCP の DLP API は、文字列を渡すと、 電話番号・氏名・メールアドレスなどまずそうに見えるものを *** などと置換した上で返却してくれる。 090-***-*** などと一部をマスキングしたり、元に戻せる形に変換したりもできます。 どのようなフォーマットの文字列を個人情報とみなすかは指定可能。

文字列だけではなく画像に対する処理も可能で、画像データを送ると、 下記のようにどの座標領域が個人情報と思われるかという判定結果を得られる。

"quote":"(206) 555-0890",
     "infoType":{
       "name":"PHONE_NUMBER"
     },
     "likelihood":"POSSIBLE",
     "location":{
       "imageBoxes":[
         {
           "top":3,
           "left":272,
           "width":5,
           "height":21
         }],
       } 

AWS/Azure/GCP サービスマッピングへ (dlp)

Security Key Enforcement とは

Cloud Key Management Service とは

AWS/Azure/GCP サービスマッピングへ (key-manage)

Cloud Resource Manager とは

AWS/Azure/GCP サービスマッピングへ (multi-account)

Cloud Run とは

AWS/Azure/GCP サービスマッピングへ (container-no-manage)

Cloud Secret Manager とは

AWS/Azure/GCP サービスマッピングへ (key-manage)

Cloud Security Scanner とは

• XSS
• Flash インジェクション
• http/https 混合コンテンツ
• 安全でない JavaScript ライブラリの使用

2018/1 現在、無料。

AWS/Azure/GCP サービスマッピングへ (vulnerability)

Cloud Security Command Center とは

AWS/Azure/GCP サービスマッピングへ (advisor)

AWS/Azure/GCP サービスマッピングへ (vulnerability)

●管理ツール

Stackdriver Debugger とは

Stackdriver Error Reporting とは

AWS/Azure/GCP サービスマッピングへ (log-watch)

Stackdriver Logging とは

AWS/Azure/GCP サービスマッピングへ (log-watch)

Stackdriver Monitoring とは

AWS/Azure/GCP サービスマッピングへ (resource-watch)

Stackdriver Profiler とは

Stackdriver Profiler は、下図のようにプログラムのどの箇所でどれくらい時間がかかっているかを可視化できるツール。横幅が広いほど時間がかかっているため、プログラムの高速化すべき箇所の判定がやりやすくなる。

Stackdriver Profile を利用するには、作成したアプリケーションにライブラリを組み込んだり、初期化関数を呼ぶ数行のコードを追加する必要がある。

プロファイル分析を行うアプリケーションを実行する場所は、Compute Engine・GKE・App Engine (スタンダード・フレキシブル) や、GCP 以外のオンプレミス環境でも利用可能。

プロファイリング可能な言語は、2019年9月現在では Go・Java・Node.js・Python。

AWS/Azure/GCP サービスマッピングへ (profiler)

Stackdriver Trace とは

Cloud Deployment Manager とは

AWS の CloudFormation と比べると、プレビュー機能があったり、複数ファイルへの分割が簡単にできたり、 少しだけ使い勝手がよいようだ。

AWS/Azure/GCP サービスマッピングへ (build-env)

Cloud Endpoints とは

AWS/Azure/GCP サービスマッピングへ (api)

Cloud Console とは

詳細は こちら。

AWS/Azure/GCP サービスマッピングへ (admin-console)

Cloud Shell とは

実体としては Ubuntu なので、vi・emacs・awk・sh スクリプト等も自由自在。 5GB の永続ストレージがある。残念ながら cron は使えない。

詳細は こちら。

AWS/Azure/GCP サービスマッピングへ (shell)

Cloud Console モバイルアプリ とは

Cloud Billing API とは

Cloud API とは

Cloud Data Catalog とは

AWS/Azure/GCP サービスマッピングへ (catalog)

デベロッパーツール

Cloud SDK とは

Container Registry (GCR) とは

AWS/Azure/GCP サービスマッピングへ (docker-registry)

Cloud Build とは

旧名 Container Builder。フルマネージドなアプリケーションビルド・テストを担う CI/CD サービス。ビルドサーバを自前で構築する場合、EC2 インスタンスを作成し、Jenkins などをインストールすることになるが、OS などのメンテナンスの手間がかかる。Cloud Build だとビルドサーバの管理を GCP に全部おまかせできる。

Cloud Build の特徴は 1ステップ1コンテナであること。

Circle CI や Travis CI などの外部サービスを利用する手もあるが、プラベートリポジトリかつ同時ビルド数をある程度確保すると、結構なお金がかかる。

Cloud Build はインスタンスを 1コア・8コア・32コアから選択可能。1コアのインスタンスのみ、1日あたり120分までは無料 (8コア・32コアは無料枠はない)。コア数が多いインスタンスを選ぶと速くビルドが完了する (と思われる)。ソースは  GitHub などから取得できる。

AWS/Azure/GCP サービスマッピングへ (ci-cd)

Cloud Scheduler とは

AWS/Azure/GCP サービスマッピングへ (scheduler)

Cloud Source Repositories とは

AWS/Azure/GCP サービスマッピングへ (source)

Cloud Tasks とは

フルマネージドなメッセージサービス。 あるプログラムがキューにメッセージを送信し、それを別のプログラムで受信することができる。使い所として、処理Aの後に処理Bを実行する場合、もちろんそのまま実行してもよいのだが、このつながりを疎結合にしたい場合、処理Bが時間がかかるなどの理由で非同期にしたい場合、処理Bを多重処理したい場合、などに使用するとよい。

よくあるケースとしては、 ある処理の後にメール送信・PDF等のファイル生成・集計処理・データ削除・後続バッチ起動などを行いたい場合などなど。

メッセージの順序性は保証なし。

類似サービスとして Cloud Pub/Sub がある。機能としては似ているが、方向性としては Pub/Sub は大量のイベントデータ処理に向いている。Cloud Tasks はジョブの連携に向いている。

ただし、2019/4 現在では GAE 宛に送ることしかできないため、汎用サービスとしてはまだ不十分。そのうち Dataflow や Functions 等に送れるようになることを期待。

詳細は こちら

AWS/Azure/GCP サービスマッピングへ (messaging)

Cloud Tools for Eclipse/Visual Studio/Android Studio/IntelliJ とは

Cloud Tools for Powershell とは

Gradle App Engine Plugin とは

Maven App Engine Plugin とは

Cloud Test Lab とは

AWS/Azure/GCP サービスマッピングへ (device-test)

Transfer Appliance とは

AWS/Azure/GCP サービスマッピングへ (physical-storage-transfer)

その他

Cloud Launcher とは

Offline Media Import / Export とは

メモ

memo: search API, Network Service Tier. Access Transparency, Apigee Sence, VPC Service Controls, Regional Persistent Disk, GKE On-Prem, GKE Policy Management Knative ,Dialogflow, Shielded VMs, Container Security, Stackdriver Service Monitoring, Cloud Talent Solution, Firebase Predictions, API Analytics, API Monetization, Istio on GKE, CSP Config Management, Knative, Cloud Vision Product Search, stackdriver logging sandbox, Google Cloud VMware Engine, Stackdriver Trace → Cloud Trace、Stackdriver Profiler → Profiler, Strackdriver Debugger → Cloud Debugger, Trafic Director

Serverless Containers on Cloud Functions → Cloud Run
GKE Serverless Add-on → Cloud Run on GKE