MaxCompute:Observación de recursos

Procedimiento

1. Inicie sesión en la consola de MaxCompute y seleccione una región en la esquina superior izquierda.

2. En el panel de navegación izquierdo, haga clic en Resource Observation.

3. En la página Resource Observation, haga clic en la pestaña Computing Resource.

4. Seleccione una cuota de nivel 1, un intervalo de tiempo y una frecuencia de muestreo.

   La frecuencia de muestreo define cada cuánto se registran los puntos de datos. Elija un intervalo adaptativo o uno de 1 minuto, 5 minutos o 15 minutos. Si el rango de tiempo supera las 72 horas, el sistema establece automáticamente el intervalo en adaptativo para garantizar el rendimiento.

5. Haga clic en el icono , ubicado a la izquierda de la cuota de nivel 2 que desea analizar, para ver su gráfica de tendencia de consumo de recursos. Puede expandir varias gráficas al mismo tiempo.

6. Consulte la lista de proyectos asociados con cada cuota de nivel 2.

Métricas

La lista de cuotas y proyectos asociados indica qué proyectos tienen configurada la cuota de nivel 2 correspondiente como su cuota de cómputo predeterminada.

Procedimiento

1. Inicie sesión en la consola de MaxCompute y seleccione una región en la esquina superior izquierda.

2. En el panel de navegación izquierdo, haga clic en Resource Observation.

3. En la página Resource Observation, haga clic en la pestaña Storage Resource para consultar el uso total de almacenamiento y su distribución en el día actual.

4. (Opcional) Seleccione un rango de tiempo (el valor predeterminado es 7d) y los proyectos (de forma predeterminada se muestran todos, pero puede elegir hasta ocho) para consultar la Storage Trend.

5. (Opcional) En el área Storage Details, dentro de la pestaña Project Details, seleccione una fecha (la predeterminada es el día actual) para ver el uso de almacenamiento de cada proyecto.

6. (Opcional) En el área Storage Details, dentro de la pestaña Table/Partition Details, seleccione una fecha (la predeterminada es el día actual) y un proyecto para consultar el uso detallado de almacenamiento de tablas y particiones en dicho proyecto.

Métricas

MaxCompute no admite consultar el uso de almacenamiento por columna. Para estimar el almacenamiento a nivel de columna, exporte los datos de la tabla y calcule el uso de cada columna manualmente.

Procedimiento

1. Inicie sesión en la consola de MaxCompute y seleccione una región en la esquina superior izquierda.

2. En el panel de navegación izquierdo, elija Observation O&M > Resource Observation.

3. En la página Resource Observation, haga clic en la pestaña Data Transmission Service.

4. Seleccione una cuota, un proyecto, un rango de tiempo y un algoritmo de agregación para consultar el uso de cada métrica.

Notas de uso

Métricas

Procedimiento

1. Inicie sesión en la consola de MaxCompute y seleccione una región en la esquina superior izquierda.

2. En el panel de navegación izquierdo, haga clic en Resource Observation.

3. En la página Resource Observation, haga clic en la pestaña Job Performance Observation.

4. Seleccione los siguientes parámetros para filtrar y agrupar los trabajos. Esto le permite consultar trabajos específicos y agrupar los datos de las métricas en las gráficas por distintas dimensiones.

   Parámetro	Descripción
   Time range	Obligatorio. Filtra los trabajos finalizados según el rango de tiempo especificado (horas de inicio y fin). Elija un rango de tiempo predefinido o configure uno personalizado: 1d: el último día. 3d: los últimos 3 días. 7d: los últimos 7 días. Seleccionar un periodo específico: haga clic en la lista desplegable del rango de tiempo, elija la fecha deseada y luego haga clic en Select Time para definir el periodo objetivo. Nota El rango de tiempo predeterminado es el último día. El rango máximo es de 7 días y el mínimo de 1 hora. Puede buscar trabajos de los últimos 45 días.
   Choose Project	Filtra por el nombre del proyecto de MaxCompute. Nota De forma predeterminada, se seleccionan todos los proyectos. Puede elegir hasta 8 proyectos.
   Select Quota	Filtra por cuota de cómputo. Nota De forma predeterminada, se seleccionan todas las cuotas de cómputo. Puede elegir hasta 8 cuotas de nivel 2. Para obtener más información sobre las cuotas de cómputo, consulte Manage computing quotas.
   Group By	Obligatorio. Según el tipo de gráfica, puede agrupar los datos de la vista por múltiples dimensiones. Valores válidos para Group By: No Group (predeterminado): muestra las tendencias de diversas métricas para todos los trabajos dentro del rango filtrado a lo largo del tiempo. Project: muestra diversas métricas para todos los trabajos dentro del rango filtrado, agrupadas por proyecto. Nota Cuando agrupa por proyecto, debe especificar los proyectos en los parámetros de filtro, con un máximo de 8 proyectos. Quotas: muestra diversas métricas para todos los trabajos dentro del rango filtrado, agrupadas por cuota de nivel 2. Nota Cuando agrupa por cuota, debe especificar las cuotas en los parámetros de filtro, con un máximo de 8 cuotas de nivel 2. Job type: muestra diversas métricas para todos los trabajos dentro del rango filtrado, agrupadas por tipo de trabajo. SQL: trabajo SQL. MCQA: trabajo SQL de MaxCompute Query Acceleration (MCQA). LOT: trabajo MapReduce. CUPID: trabajo Spark o Mars. Algo_Task: trabajo de aprendizaje automático. GRAPH: trabajo de cómputo de grafos. Job End Status: muestra diversas métricas para todos los trabajos dentro del rango filtrado, agrupadas por su estado final. Success: el trabajo se ejecutó correctamente. Failed: el trabajo finalizó con errores. Cancelled: el trabajo se canceló.

5. Haga clic en Query para consultar las estadísticas de cada métrica.

6. (Opcional) Seleccione una granularidad de Data Summary para ver las estadísticas de cada métrica según la dimensión de tiempo elegida.

   Parámetro	Descripción
   By Hour	Resume los datos en intervalos de una hora. Muestra las estadísticas de los trabajos que terminaron de ejecutarse en la hora actual. Esta es la configuración predeterminada. Por ejemplo, si la hora actual es las 14:00 del 6 de mayo de 2024, el resumen por hora mostrará las estadísticas de los trabajos finalizados entre las 14:00 y las 15:00 del 6 de mayo de 2024.
   By Day	Resume los datos en intervalos de un día. Muestra las estadísticas de los trabajos que terminaron de ejecutarse en el día actual. Por ejemplo, si la fecha actual es el 6 de mayo de 2024, el resumen por día mostrará las estadísticas de los trabajos finalizados entre las 00:00 del 6 de mayo de 2024 y las 00:00 del 7 de mayo de 2024.

7. (Opcional) Seleccione un Comparison Period para consultar estadísticas históricas de una fecha u hora anterior.

   El valor predeterminado es No Comparison. Las opciones incluyen Previous 30 Days, Previous 7 Days y Previous 1 Day. Por ejemplo, para las 14:00 del 6 de mayo de 2024, los datos de comparación de 30 días corresponden a las estadísticas de las 14:00 del 6 de abril de 2024.

Métricas

• CU Usage Trend (unidad: Core*H)

  Métrica	Descripción
  CPU-hour (unidad: Core*H)	Cantidad de horas de CPU consumidas por los trabajos finalizados dentro del rango de filtro seleccionado. Una hora de CPU equivale a un núcleo de CPU consumido durante una hora. Horas de CPU = número de núcleos de CPU × duración.
  Memory-hour (unidad: GB*H)	Cantidad de horas de memoria consumidas por los trabajos finalizados dentro del rango de filtro seleccionado. Una hora de memoria equivale a 1 GB de memoria consumido durante una hora. Horas de memoria = tamaño de memoria × duración.
  CPU-hour/Top 10 Memory-Hour Consumption Analysis	Clasifica los 10 trabajos principales por consumo de horas de CPU o de memoria. También enumera los 10 Signatures y ExtNodeIds con mayor consumo total o promedio dentro del rango de filtro seleccionado.

• Job Runtime Period (unidad: segundos)

  Métrica	Descripción
  Average Value	Tiempo de ejecución promedio de los trabajos finalizados dentro del rango de filtro seleccionado.
  Maximum Value	Tiempo de ejecución más largo de los trabajos finalizados dentro del rango de filtro seleccionado.
  Minimum Value	Tiempo de ejecución más corto de los trabajos finalizados dentro del rango de filtro seleccionado.
  Quantile	Tiempo de ejecución de los trabajos para un cuantil específico (incluidos los percentiles 1, 5, 10, 50, 90, 95 y 99) de los trabajos finalizados dentro del rango de filtro seleccionado. Por ejemplo, el percentil 99 indica que el 99 % de los trabajos finalizaron dentro de este tiempo de ejecución.
  Top 10 Job Runtime Analysis	Presenta los 10 trabajos con el tiempo de ejecución total más largo, así como los 10 Signatures y ExtNodeIds con el tiempo de ejecución total o promedio más prolongado dentro del rango de filtro seleccionado.

• Job Count Trend (unidad: cantidad): número de trabajos finalizados dentro del rango de filtro seleccionado.

• Job Input Size Trend (unidad: GB, ajustada automáticamente según la escala de la gráfica): cantidad de datos analizados por los trabajos finalizados dentro del rango de filtro seleccionado.

• Trend of Job Input Size per CU-Hour (unidad: GB, ajustada automáticamente según la escala de la gráfica): tamaño promedio de los datos analizados por los trabajos por cada hora de CU dentro del rango de filtro seleccionado. Una hora de CU incluye 1 núcleo de CPU y 4 GB de memoria. Se calcula mediante la fórmula MAX(CPU-hour, CEILING(memory-hour/4)).

También puede recopilar estadísticas de las métricas anteriores mediante tenant-level Information Schema. Tenga en cuenta que la tabla Information Schema task_history contiene todos los task instances generados por las operaciones, mientras que las métricas de la pestaña Job Performance Observation en la consola cuentan únicamente los trabajos que consumen recursos de cómputo. Por lo tanto, los resultados estadísticos pueden diferir.

A continuación se muestra un ejemplo de consulta:

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- The hour when the job finished.
       -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU-hour
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- Memory-hour
       avg(datediff(end_time, start_time, 'ss')), -- Average job runtime
       min(datediff(end_time, start_time, 'ss')), -- Minimum job runtime
       max(datediff(end_time, start_time, 'ss'))  -- Maximum job runtime
       -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- Modify or add other filter conditions as needed.
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
         -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.

Preguntas frecuentes

• Pregunta 1:

  • P: ¿Por qué faltan algunos proyectos o cuotas en la leyenda de la gráfica después de agruparlos?

  • R: Esto ocurre cuando la cantidad de trabajos de un proyecto o cuota es cero dentro del rango de tiempo seleccionado.

• Pregunta 2:

  • P: ¿Por qué faltan los datos de comparación de un periodo anterior?

  • R: Los datos pueden faltar si el proyecto o la cuota no existían, o si no tenían trabajos durante el periodo de comparación.