Langsung ke konten utama
Dokumentasi
Area teknologi
close
AI dan ML
Pengembangan aplikasi
Hosting aplikasi
Compute
Analisis data dan pipeline
Database
Terdistribusi, hybrid, dan multi-cloud
AI Generatif
Solusi industri
Jaringan
Kemampuan observasi dan pemantauan
Keamanan
Storage
Alat lintas produk
close
Pengelolaan akses dan resource
Pengelolaan biaya dan penggunaan
Google Cloud SDK, bahasa, framework, dan alat
Infrastruktur sebagai kode
Migrasi
Situs terkait
close
Beranda Google Cloud
Uji Coba Gratis dan Paket Gratis
Architecture Center
Blog
Hubungi Bagian Penjualan
Pusat Developer Google Cloud
Pusat Developer Google
Google Cloud Marketplace
Dokumentasi Google Cloud Marketplace
Google Cloud Skills Boost
Google Cloud Solution Center
Dukungan Google Cloud
Channel YouTube Google Cloud Tech
/
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
中文 – 简体
中文 – 繁體
日本語
한국어
Konsol
Masuk
Cloud Dataflow
Ringkasan
Panduan
ML Dataflow
Referensi
Contoh
Referensi
Hubungi Kami
Mulai gratis
Dokumentasi
Ringkasan
Panduan
ML Dataflow
Referensi
Contoh
Referensi
Area teknologi
Lainnya
Alat lintas produk
Lainnya
Situs terkait
Lainnya
Konsol
Hubungi Kami
Mulai gratis
Discover
Ringkasan produk
Kasus penggunaan
Model pemrograman untuk Apache Beam
Mulai
Mulai menggunakan Dataflow
Panduan Memulai
Menggunakan builder tugas
Menggunakan template
Membuat pipeline
Ringkasan
Menggunakan Apache Beam
Ringkasan
Menginstal Apache Beam SDK
Membuat pipeline Java
Membuat pipeline Python
Membuat pipeline Go
Menggunakan UI pembuat tugas
Ringkasan UI pembuat tugas
Membuat tugas kustom
Memuat dan menyimpan file YAML tugas
Menggunakan editor YAML pembuat tugas
Mengemas dan mengimpor transformasi
Menggunakan template
Tentang template
Menjalankan template contoh
Template yang disediakan Google
Semua template yang disediakan
Membuat fungsi yang ditentukan pengguna untuk template
Menggunakan sertifikat SSL dengan template
Mengenkripsi parameter template
Template Flex
Mem-build dan menjalankan Template Flex
Mengonfigurasi Template Flex
Image dasar Template Flex
Template klasik
Membuat template klasik
Menjalankan template klasik
Menggunakan notebook
Mulai menggunakan notebook
Menggunakan fitur notebook lanjutan
I/O Dataflow
I/O Terkelola
Praktik terbaik I/O
Apache Iceberg
I/O Terkelola untuk Apache Iceberg
Membaca dari Apache Iceberg
Menulis ke Apache Iceberg
Streaming Penulisan ke Apache Iceberg dengan Katalog REST BigLake
Pembacaan CDC dari Apache Iceberg dengan Katalog REST BigLake
Apache Kafka
I/O Terkelola untuk Apache Kafka
Membaca dari Apache Kafka
Menulis ke Apache Kafka
Menggunakan Managed Service for Apache Kafka
BigQuery
I/O Terkelola untuk BigQuery
Membaca dari BigQuery
Menulis ke BigQuery
Bigtable
Membaca dari Bigtable
Menulis ke Bigtable
Cloud Storage
Membaca dari Cloud Storage
Menulis ke Cloud Storage
Pub/Sub
Membaca dari Pub/Sub
Menulis ke Pub/Sub
Memperkaya data
Transformasi pengayaan
Menggunakan Apache Beam dan Bigtable untuk memperkaya data
Menggunakan Apache Beam dan BigQuery untuk memperkaya data
Menggunakan Apache Beam dan Vertex AI Feature Store untuk memperkaya data
Praktik terbaik
Praktik terbaik Dataflow
Praktik terbaik pipeline batch besar
Praktik terbaik Pub/Sub ke BigQuery
Menjalankan pipeline
Men-deploy pipeline
Menggunakan Runner Dataflow v2
Mengonfigurasi opsi pipeline
Menetapkan opsi pipeline
Referensi opsi pipeline
Opsi layanan Dataflow
Mengonfigurasi VM pekerja
Menggunakan VM Arm
Mengelola dependensi pipeline
Menetapkan mode streaming pipeline
Menggunakan akselerator (GPU/TPU)
GPU
Ringkasan GPU
Dukungan Dataflow untuk GPU
Praktik terbaik GPU
Menjalankan pipeline dengan GPU
Menggunakan GPU NVIDIA L4
Menggunakan Layanan Multi-Pemrosesan NVIDIA
Memproses gambar satelit dengan GPU
Memecahkan masalah GPU
TPU
Dukungan Dataflow untuk TPU
Menjalankan pipeline dengan TPU
Panduan memulai: Menjalankan Dataflow di TPU
Memecahkan masalah TPU
Menggunakan container kustom
Ringkasan
Membangun image container kustom
Mem-build image container multi-arsitektur
Menjalankan tugas Dataflow dalam penampung kustom
Memecahkan masalah container kustom
Regions
Monitor
Ringkasan
Dasbor pemantauan project
Menyesuaikan dasbor pemantauan
Memantau tugas
Daftar tugas
Grafik tugas
Informasi langkah tugas
Detail eksekusi
Metrik tugas
Perkiraan biaya
Rekomendasi
Penskalaan otomatis
Menggunakan Cloud Monitoring
Menggunakan Cloud Profiler
Logging
Logging audit untuk Dataflow
Logging audit untuk Data Pipeline
Menggunakan log pipeline
Mengontrol penyerapan log
Contoh data pipeline
Melihat silsilah data
Optimalkan
Menggunakan Streaming Engine untuk tugas streaming
Pengacakan dataflow untuk tugas batch
Menggunakan penskalaan dan penyeimbangan ulang otomatis
Penskalaan Otomatis Horizontal
Menyesuaikan Penskalaan Otomatis Horizontal Streaming
Penskalaan thread dinamis
Penyesuaian yang tepat
Memahami penyeimbangan ulang tugas dinamis
Menggunakan Dataflow Prime
Tentang Dataflow Prime
Penskalaan Otomatis Vertikal
Menggunakan Dataflow Insights
Menggunakan Penjadwalan Resource Fleksibel
Menggunakan reservasi Compute Engine
Mengoptimalkan biaya
Kelola
Update pipeline
Panduan upgrade
Memperbarui pipeline streaming
Menghentikan pipeline yang sedang berjalan
Meminta kuota
Menggunakan snapshot Dataflow
Menggunakan pipeline data
Menggunakan Eventarc untuk mengelola tugas Dataflow
Mengontrol akses
Authentication
Peran dan izin Dataflow
Keamanan dan izin
Menentukan jaringan
Mengonfigurasi aturan akses internet dan firewall
Menggunakan kunci enkripsi yang dikelola pelanggan
Menggunakan batasan kustom
Panduan pengembangan Dataflow
Merencanakan pipeline data
Siklus proses pipeline
Mengembangkan dan menguji pipeline
Mendesain alur kerja pipeline
Representasi data dalam pipeline streaming
Pemrosesan tepat satu kali
Contoh workload Dataflow
Machine learning
Tutorial ML Python
Menjalankan LLM di pipeline streaming
E-commerce
Membuat pipeline streaming e-commerce
Pola tugas Java
Streaming dari Apache Kafka ke BigQuery
Streaming dari Pub/Sub ke BigQuery
Workload HPC yang sangat paralel
Ringkasan
Tentang HPC yang sangat paralel dengan Dataflow
Praktik terbaik
Tutorial
Pola referensi
Bermigrasi dari MapReduce
Memecahkan masalah
Memecahkan masalah pipeline
Memecahkan masalah pipeline streaming
Memecahkan masalah tugas streaming yang lambat atau macet