跳至主要內容
說明文件
技術領域
close
AI 和機器學習
應用程式開發
應用程式託管
運算
資料分析和管道
資料庫
分散式、混合雲和多雲端
生成式 AI
產業解決方案
網路
觀測能力與監控
安全性
Storage
跨產品工具
close
存取權和資源管理
費用和用量管理
Google Cloud SDK、語言、架構和工具
基礎架構即程式碼
遷移
相關網站
close
Google Cloud 首頁
免費試用與免費方案
架構中心
網誌
聯絡銷售人員
Google Cloud Developer Center
Google 開發人員中心
Google Cloud Marketplace
Google Cloud Marketplace 說明文件
Google Cloud Skills Boost
Google Cloud Solution Center
Google Cloud 支援
Google Cloud Tech YouTube 頻道
/
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
中文 – 简体
中文 – 繁體
日本語
한국어
控制台
登入
Cloud Dataflow
總覽
指南
Dataflow ML
參考資料
範例
資源
聯絡我們
免費試用
說明文件
總覽
指南
Dataflow ML
參考資料
範例
資源
技術領域
更多
跨產品工具
更多
相關網站
更多
控制台
聯絡我們
免費試用
Discover
產品總覽
用途
Apache Beam 的程式設計模型
開始使用
開始使用 Dataflow
快速入門導覽課程
使用工作建構工具
使用範本
建立管道
總覽
使用 Apache Beam
總覽
安裝 Apache Beam SDK
建立 Java 管道
建立 Python 管道
建立 Go 管道
使用工作建構工具 UI
工作建立工具 UI 總覽
建立自訂工作
載入及儲存工作 YAML 檔案
使用工作建立工具 YAML 編輯器
封裝及匯入轉換
使用範本
關於範本
執行範本範例
Google 提供的範本
所有提供的範本
為範本建立使用者定義函式
使用範本搭配 SSL 憑證
加密範本參數
Flex 範本
建構及執行 Flex 範本
設定 Flex 範本
Flex 範本基本映像檔
傳統範本
建立傳統範本
執行傳統範本
使用筆記本
開始使用筆記本
使用筆記本進階功能
Dataflow I/O
受管理 I/O
I/O 最佳做法
Apache Iceberg
Apache Iceberg 的受管理 I/O
從 Apache Iceberg 讀取資料
寫入 Apache Iceberg
使用 BigLake REST 目錄將串流寫入 Apache Iceberg
透過 BigLake REST 目錄從 Apache Iceberg 讀取 CDC
Apache Kafka
Managed I/O for Apache Kafka
從 Apache Kafka 讀取資料
寫入 Apache Kafka
使用 Managed Service for Apache Kafka
BigQuery
BigQuery 的代管 I/O
讀取 BigQuery
寫入 BigQuery
Bigtable
從 Bigtable 讀取資料
寫入 Bigtable
Cloud Storage
讀取 Cloud Storage
寫入 Cloud Storage
Pub/Sub
從 Pub/Sub 讀取
寫入 Pub/Sub
充實資料
充實轉換
使用 Apache Beam 和 Bigtable 充實資料
使用 Apache Beam 和 BigQuery 充實資料
使用 Apache Beam 和 Vertex AI 特徵儲存庫擴充資料
最佳做法
Dataflow 最佳做法
大型批次管道最佳做法
Pub/Sub 到 BigQuery 最佳做法
執行管道
部署管道
使用 Dataflow Runner v2
設定管道選項
設定管道選項
管道選項參考資料
Dataflow 服務選項
設定工作站 VM
使用 Arm VM
管理管道依附元件
設定管道串流模式
使用加速器 (GPU/TPU)
GPU
GPU 總覽
Dataflow 支援 GPU
GPU 最佳做法
使用 GPU 執行管道
使用 NVIDIA L4 GPU
使用 NVIDIA Multi-Processing Service
使用 GPU 處理衛星影像
排解 GPU 問題
TPU
Dataflow 支援 TPU
使用 TPU 執行管道
快速入門導覽課程：在 TPU 上執行 Dataflow
排解 TPU 問題
使用自訂容器
總覽
建立自訂容器映像檔
建構多架構容器映像檔
在自訂容器中執行 Dataflow 工作
排解自訂容器問題
區域
監控
總覽
專案監控資訊主頁
自訂監控資訊主頁
監控工作
工作清單
工作圖表
工作步驟資訊
執行作業詳細資料
工作指標
預估費用
建議
自動調度資源
使用 Cloud Monitoring
使用 Cloud Profiler
記錄
Dataflow 稽核記錄
Data Pipelines 的稽核記錄
使用管道記錄
控制記錄擷取
管道資料範例
查看資料歷程
最佳化
使用 Streaming Engine 處理串流工作
批次工作的 Dataflow Shuffle
使用自動調度和重新平衡功能
自動水平調度資源
調整串流自動水平調度資源
動態執行緒資源調度
最適資源配置
瞭解動態重新平衡工作
使用 Dataflow Prime
關於 Dataflow Prime
自動垂直調度資源
使用 Dataflow 深入分析
使用彈性資源排程
使用 Compute Engine 預留項目
提高成本效益
管理
管道更新
升級指南
更新串流管道
停止執行中的管道
要求配額
使用 Dataflow 快照
使用資料管道
使用 Eventarc 管理 Dataflow 工作
控制存取權
Authentication
Dataflow 角色和權限
安全性和權限
指定網路
設定網際網路存取權與防火牆規則
使用客戶自行管理的加密金鑰
使用自訂限制
Dataflow 開發指南
規劃資料管道
管道生命週期
開發及測試管道
設計管道工作流程
串流管道中的資料表示法
僅需處理一次
Dataflow 工作負載範例
機器學習
Python 機器學習教學課程
在串流管道中執行 LLM
電子商務
建立電子商務串流管道
Java 工作模式
從 Apache Kafka 串流至 BigQuery
將資料從 Pub/Sub 串流至 BigQuery
HPC 高度平行工作負載
總覽
關於 HPC 高度平行處理與 Dataflow
最佳做法
教學課程