Google Cloud 上の Apache Spark

Google Cloud Serverless for Apache Spark を使用して、Lightning Engine* と Gemini で生産性とパフォーマンスを向上させます。このエクスペリエンスは、BigQuery から直接 Apache Spark と SQL ワークロードを実行するための高度に統合された環境です。統合されたセキュリティ、BigLake metastore を使用したランタイム メタデータ、Dataplex ユニバーサル カタログによるガバナンスを提供します。統合された CI/CD、ノートブック内の Gemini で生産性を最大化し、Apache Spark クラスタ管理を排除します。

* クエリは TPC-DS 標準と TPC-H 標準から派生したものであり、TPC-DS 標準と TPC-H 標準の仕様のすべての要件に準拠していないため、公開されている TPC-DS 標準と TPC-H 標準の結果と比較することはできません。

Dataproc は、Spark、Hadoopをはじめ、30 以上のオープンソース ツールの広大なエコシステムを専用にデプロイして運用するための、フルマネージドでスケーラビリティの高いサービスです。Google Compute Engine 上の Dataproc（プレミアム ティア）向け Lightning Engine など、幅広い Google Cloud プロダクトやサービスとの統合により、データレイクのモダナイゼーション、効率的な ETL パイプライン、クラスタ制御が不可欠な安全な大規模データ サイエンス イニシアチブに最適です。

Google Cloud Serverless for Apache Spark のゼロオペレーションのシンプルさや、マネージド Dataproc クラスタの制御を好むかどうかにかかわらず、ML ライフサイクル全体を加速できます。以下はメリットです。

• シームレスな統合: データアクセスのための BigQuery と MLOps のための Vertex AI を簡単に接続し、エンドツーエンドのデータ サイエンス パイプラインを構築できます。
• デベロッパーの生産性: Gemini を活用して、BigQuery Studio や Vertex AI Workbench などのノートブック環境でコーディングの分析情報と支援を利用できます。
• AI/ML の準備: サーバーレス Spark クラスタと Dataproc クラスタの両方で利用可能な、事前パッケージ化された ML ライブラリと GPU アクセラレーションを、要求の厳しいトレーニングと推論のタスクに活用します。
• イテレーションの高速化: どの方法を選択しても、開発とテストに集中できます。

Vertex AI を使用して、データ サイエンス向けの Spark をシームレスに開発、運用できます。Vertex AI Workbench から Spark を使用して、組み込みのセキュリティと Gemini の支援によるインタラクティブな開発を行います。堅牢な MLOps のために、Spark 処理を Vertex AI Pipelines に統合します。

Google Cloud の Spark サービスは、Apache Iceberg、Delta Lake、Hudi などのオープンソースの形式との堅牢な互換性を備えています。BigLake Metastore または Dataproc Metastore を活用して、さまざまな形式のメタデータを統合的に管理し、任意の Spark エンジンでデータを処理できるオープンなレイクハウス アーキテクチャを実現します。