Métricas de Dataproc

Cloud Monitoring ofrece visibilidad sobre el rendimiento, el tiempo de actividad y el estado general de las aplicaciones basadas en la nube. Google Cloud Observability recoge e ingiere métricas, eventos y metadatos de clústeres de Dataproc, incluidas métricas de HDFS, YARN, trabajos y operaciones por clúster, para generar estadísticas a través de paneles de control y gráficos (consulta Métricas de Dataproc de Cloud Monitoring).

Recogida de métricas de recursos de Dataproc

Cloud Monitoring recoge métricas relacionadas con los siguientes recursos de Dataproc:

  • Clúster de Cloud Dataproc
  • Tarea de Cloud Dataproc
  • Lote de Cloud Dataproc
  • Sesión de Cloud Dataproc

Las métricas de recursos de Dataproc se recogen con el siguiente formato: dataproc.googleapis.com/RESOURCE/METRIC, e incluyen la recogida de varias métricas de software libre.

Ver métricas de recursos de Dataproc

Puede seleccionar y ver las métricas de recursos de Dataproc en el Explorador de métricas. Para ello, escriba "dataproc" en el cuadro Filter by resource or metric name y, a continuación, seleccione un recurso de "Cloud Dataproc".

Recogida de métricas personalizadas

Al crear un clúster de Dataproc, puedes habilitar la recogida de métricas de una o varias fuentes de métricas personalizadas. Se recoge un conjunto estándar de métricas de cada fuente de métricas habilitada, a menos que especifique las métricas que se deben recoger de una fuente de métricas (las métricas especificadas por el usuario se denominan "sustituciones" de métricas).

Las métricas de OSS personalizadas se recogen en el siguiente formato: custom.googleapis.com/OSS_COMPONENT/METRIC

Ejemplos de métricas de OSS personalizadas: 

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Habilitar la recogida de métricas personalizadas

Puedes usar la CLI de gcloud o la API de Dataproc para habilitar la recogida de métricas personalizadas de una o varias fuentes de métricas.

CLI de gcloud

Recogida de métricas personalizadas

Usa la marca gcloud dataproc clusters create --metric-sources para habilitar la recogida de métricas personalizadas de una o varias fuentes de métricas. 

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

Notas:

Anular la recogida de métricas

De forma opcional, añada la marca --metric-overrides o --metric-overrides-file para habilitar la recogida de una o varias métricas personalizadas de una o varias fuentes de métricas.

  • Cualquiera de las métricas personalizadas y todas las métricas de Spark se pueden incluir en la lista para recogerlas como métricas alternativas. Los valores de métrica de anulación distinguen entre mayúsculas y minúsculas, y deben proporcionarse, si procede, en formato de mayúscula inicial.

    Ejemplos:

    • sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed
    • hiveserver2:JVM:Memory:NonHeapMemoryUsage.used
    • yarn:ResourceManager:JvmMetrics:MemHeapMaxM

  • Solo se recogerán las métricas anuladas especificadas de una fuente de métricas determinada. Por ejemplo, si una o varias spark:executivemétricas se indican como anulaciones de métricas, no se recogerán otras SPARKmétricas. La recogida de métricas personalizadas de otras fuentes de métricas no se ve afectada. Por ejemplo, si se habilitan las fuentes de métricas SPARK y YARN y solo se proporcionan anulaciones para las métricas de Spark, se recogerá el conjunto estándar de métricas de YARN habilitadas.
  • La fuente de la anulación de métrica especificada debe estar habilitada. Por ejemplo, si se proporcionan una o varias métricas de spark:driver como anulaciones de métricas, debe habilitarse la fuente de métricas de spark (--metric-sources=spark).

Lista de métricas de anulación

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

Notas:

  • --metric-sources: es obligatorio para habilitar la recogida de métricas personalizadas. Especifique una o varias de las siguientes fuentes de métricas: spark, flink, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore y monitoring-agent-defaults. El nombre de la fuente de la métrica no distingue entre mayúsculas y minúsculas. Por ejemplo, se puede usar "yarn" o "YARN".
  • --metric-overrides: proporciona una lista de métricas con el siguiente formato:

    METRIC_SOURCE:INSTANCE:GROUP:METRIC

    Ejemplo:--metric-overrides=sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed

    Esta marca es una alternativa a la marca --metric-overrides-file y no se puede usar con ella.

Anular archivo de métricas

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Notas:

  • --metric-sources: es obligatorio para habilitar la recogida de métricas personalizadas. Especifique una o varias de las siguientes fuentes de métricas: spark, flink, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore y monitoring-agent-defaults. El nombre de la fuente de la métrica no distingue entre mayúsculas y minúsculas. Por ejemplo, se puede usar "yarn" o "YARN".
  • --metric-overrides-file: especifica un archivo local o de Cloud Storage (gs://bucket/filename) que contenga una o varias métricas con el siguiente formato:

    METRIC_SOURCE:INSTANCE:GROUP:METRIC

    Usa el formato camelCase según corresponda.

    Ejemplos:

    • --metric-overrides-file=gs://my-bucket/my-filename.txt
    • --metric-overrides-file=./local-directory/local-filename.txt

      Esta marca es una alternativa a la marca --metric-overrides y no se puede usar con ella.

API REST

Usa