기본 콘텐츠로 건너뛰기
문서
기술 영역
close
AI 및 ML
애플리케이션 개발
애플리케이션 호스팅
컴퓨팅
데이터 분석 및 파이프라인
데이터베이스
분산, 하이브리드, 멀티 클라우드
생성형 AI
업종별 솔루션
네트워킹
관측 가능성 및 모니터링
보안
Storage
크로스 프로덕트 도구
close
액세스 및 리소스 관리
비용 및 사용량 관리
Google Cloud SDK, 언어, 프레임워크, 도구
코드형 인프라
이전
관련 사이트
close
Google Cloud 홈
무료 체험판 및 무료 등급
아키텍처 센터
블로그
영업팀에 문의
Google Cloud Developer Center
Google Developer Center
Google Cloud Marketplace
Google Cloud Marketplace 문서
Google Cloud Skills Boost
Google Cloud Solutions Center
Google Cloud 지원팀
Google Cloud Tech YouTube 채널
/
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
中文 – 简体
中文 – 繁體
日本語
한국어
콘솔
로그인
Cloud Dataflow
개요
가이드
Dataflow ML
참조
샘플
리소스
문의하기
무료로 시작하기
문서
개요
가이드
Dataflow ML
참조
샘플
리소스
기술 영역
더보기
크로스 프로덕트 도구
더보기
관련 사이트
더보기
콘솔
문의하기
무료로 시작하기
Discover
제품 개요
Apache Beam 프로그래밍 모델
시작하기
Apache Beam SDK를 설치합니다.
빠른 시작
작업 빌더를 사용하여 파이프라인 실행
Java 파이프라인 실행
Python 파이프라인 실행
Go 파이프라인 실행
템플릿에서 스트리밍 파이프라인 실행
파이프라인 빌드
Apache Beam 사용
작업 빌더 UI 사용
템플릿 사용
템플릿 정보
샘플 템플릿 실행
Google 제공 템플릿
제공되는 모든 템플릿
UDF를 사용하여 Pub/Sub에서 BigQuery로 스트리밍
Dataflow를 사용하여 Kafka에서 BigQuery로 데이터 쓰기
템플릿에 대한 사용자 정의 함수 만들기
템플릿에 SSL 인증서 사용
템플릿 파라미터 암호화
Flex 템플릿
Flex 템플릿 빌드 및 실행
Flex 템플릿 구성
가변형 템플릿 기본 이미지
기본 템플릿
기본 템플릿 만들기
기본 템플릿 실행
노트북 사용
노트북 시작하기
고급 노트북 기능 사용
관리형 I/O
개요
Apache Iceberg용 관리형 I/O
Apache Kafka용 관리형 I/O
BigQuery용 관리형 I/O
I/O 커넥터 권장사항
개요
소스
Apache Iceberg에서 읽기
Apache Kafka에서 읽기
BigQuery에서 읽어오기
Bigtable에서 읽기
Cloud Storage에서 읽기
Pub/Sub에서 읽기
싱크
Apache Iceberg에 쓰기
Apache Kafka에 쓰기
BigQuery에 쓰기
Bigtable에 쓰기
Cloud Storage에 쓰기
Pub/Sub에 쓰기
데이터 보강
보강 변환
Apache Beam 및 Bigtable을 사용하여 데이터 보강
Apache Beam 및 BigQuery를 사용하여 데이터 보강
Apache Beam 및 Vertex AI Feature Store를 사용하여 데이터 보강
권장사항
Dataflow 권장사항
대규모 일괄 처리 파이프라인 권장사항
파이프라인 실행
파이프라인 배포
Dataflow Runner v2 사용
파이프라인 옵션 구성
파이프라인 옵션 설정
파이프라인 옵션 참조
Dataflow 서비스 옵션
작업자 VM 구성
Arm VM 사용
파이프라인 종속 항목 관리
파이프라인 스트리밍 모드 설정
Dataflow GPU 사용
개요
GPU에 대한 Dataflow 지원
GPU 권장사항
GPU로 파이프라인 실행
NVIDIA L4 GPU 사용
NVIDIA 다중 처리 서비스 사용
GPU를 사용하여 위성 이미지 처리
GPU 문제 해결
커스텀 컨테이너 사용
개요
커스텀 컨테이너 이미지 빌드
멀티 아키텍처 컨테이너 이미지 빌드
커스텀 컨테이너에서 Dataflow 작업 실행
커스텀 컨테이너 문제 해결
Regions
모니터링
작업 모니터링 UI 사용
Dataflow 작업 모니터링 개요
작업 그래프
실행 세부정보
작업 측정항목
자동 확장 모니터링
프로젝트 모니터링 대시보드
명령줄 인터페이스 사용
Cloud Monitoring 사용
Cloud Profiler 사용
데이터 계보 보기
샘플 파이프라인 데이터
Dataflow 로그 파일 사용
Dataflow의 감사 로깅
Data Pipelines의 감사 로깅
파이프라인 로그 작업
로그 수집 제어
최적화
스트리밍 작업에 Streaming Engine 사용
일괄 작업에 대한 Dataflow Shuffle
자동 확장 및 재분산 사용
수평 자동 확장
수평 자동 확장 조정
동적 스레드 확장
적합 맞춤