O Dataproc define valores de metadados especiais para as instâncias que são executadas no seu cluster:
| Chave de metadados | Valor |
|---|---|
dataproc-bucket | Nome do contentor de preparação do cluster |
dataproc-region | Região do ponto final do cluster |
dataproc-worker-count | Número de nós de trabalho no cluster. O valor é 0 para clusters de nó único. |
dataproc-cluster-name | Nome do cluster |
dataproc-cluster-uuid | UUID do cluster |
dataproc-role | Função da instância, Master ou Worker |
dataproc-master | Nome do anfitrião do primeiro nó principal. O valor é [CLUSTER_NAME]-m num cluster padrão ou de nó único, ou [CLUSTER_NAME]-m-0 num cluster de alta disponibilidade, em que [CLUSTER_NAME] é o nome do seu cluster. |
dataproc-master-additional | Lista de nomes de anfitriões separados por vírgulas para os nós principais adicionais num cluster de alta disponibilidade, por exemplo, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 num cluster com 3 nós principais. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | A versão ou o URL que aponta para uma versão do conetor do BigQuery do Spark a usar em aplicações Spark, por exemplo, 0.42.1 ou gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Uma versão predefinida do conetor do BigQuery do Spark está pré-instalada em clusters da versão de imagem 2.1 e posteriores do Dataproc. Para mais informações, consulte o artigo Use o conetor do BigQuery do Spark. |
Pode usar estes valores para personalizar o comportamento das ações de inicialização.
Pode usar a flag --metadata no comando
gcloud dataproc clusters create
para fornecer os seus próprios metadados:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...