Documentação do Dataflow
O Dataflow é um serviço gerenciado para executar uma ampla variedade de padrões de processamento de dados. A documentação neste site mostra como implantar os pipelines de processamento de dados de streaming e em lote usando o Dataflow, incluindo instruções de uso dos recursos de serviço.
O SDK do Apache Beam é um modelo de programação de código aberto que permite desenvolver pipelines de lote e de streaming. Você cria pipelines com um programa do Apache Beam e os executa no serviço do Dataflow. A documentação do Apache Beam fornece informações conceituais aprofundadas e material de referência para o modelo de programação, os SDKs e outros executores do Apache Beam.
Para aprender os conceitos básicos do Apache Beam, consulte o Tour do Beam e o Beam Playground. O repositório do Manual do Dataflow também fornece pipelines prontos para lançamento e independentes, além dos casos de uso mais comuns do Dataflow.
Comece sua prova de conceito com US $300 de crédito sem custos financeiros
- Acesse o Gemini 2.0 Flash Thinking
- Uso mensal sem custo financeiro dos produtos mais procurados, incluindo APIs de IA e BigQuery
- Sem cobranças automáticas, sem compromisso
Aproveite mais de 20 produtos sem nenhum custo financeiro
Acesse mais de 20 produtos sem custos financeiros voltados a casos de uso comuns, incluindo APIs de IA, VMs, data warehouses e muito mais.
Recursos de documentação
Guias
Recursos relacionados
Executar cargas de trabalho de HPC altamente paralelas
Com o Dataflow, é possível executar cargas de trabalho altamente paralelas em um único pipeline, melhorando a eficiência e facilitando o gerenciamento do fluxo de trabalho.
Executar inferência com o Dataflow ML
O Dataflow ML permite usar o Dataflow para implantar e gerenciar pipelines completos de machine learning (ML). Use modelos de ML para fazer inferências locais e remotas com pipelines de streaming e em lote. Use ferramentas de processamento de dados para preparar seus dados para o treinamento de modelo e processar os resultados dos modelos.
Criar um pipeline de streaming de e-commerce
Criar um aplicativo de amostra de e-commerce completo que transmite dados de uma loja on-line para o BigQuery e o Bigtable. O aplicativo de amostra ilustra casos comuns e práticas recomendadas para implementar a análise de dados de streaming e a inteligência artificial (IA) em tempo real.