Funciones
La función de operaciones de trabajos en MaxCompute le permite consultar y gestionar tanto los trabajos históricos como los que se están ejecutando.
Para los desarrolladores de datos, esta función simplifica las tareas diarias. Por ejemplo, facilita la revisión de los detalles de los trabajos, la identificación de excepciones y problemas, y la respuesta ante trabajos problemáticos mediante su finalización individual o por lotes.
Para los administradores, esta función ayuda a supervisar la carga de recursos de un grupo de cuotas. De este modo, pueden gestionar eficazmente los recursos del sistema y mejorar el rendimiento de ejecución de los trabajos.
En la página Jobs de la consola de MaxCompute, configure condiciones de filtrado para localizar los trabajos deseados, consultar sus detalles y analizarlos. A continuación se describen las funciones específicas:
Operaciones
-
Filtrar trabajos
Filtre los trabajos al especificar parámetros. Para obtener una descripción de los parámetros compatibles, consulte Job parameter description.
-
Ordenar trabajos
De forma predeterminada, los trabajos se ordenan por hora de finalización en orden descendente y los trabajos sin finalizar aparecen primero. Puede aplicar un ordenamiento de una sola columna o un ordenamiento avanzado de varias columnas.
Ordenamiento de una sola columna: ordene cualquier columna que tenga un ícono de ordenamiento de forma ascendente o descendente.
-
Ordenamiento avanzado de varias columnas: haga clic en el botón Advanced Sorting en la esquina superior derecha de la lista. Haga clic en Add Sort para agregar varios nombres de columna. Especifique el orden de cada columna como Ascend o Descend. Luego, haga clic en OK para aplicar el ordenamiento de varias columnas.
Cuando un ordenamiento avanzado está activo, el ordenamiento de una sola columna se deshabilita. Para volver a habilitarlo, haga clic en el botón Advanced Sorting, luego en Reset y finalmente en OK.
-
Consultar los detalles de un trabajo
En la lista de trabajos, haga clic en LogView dentro de la columna Actions column for a job to open the LogView page, where you can view its execution status, details, y results.
-
Terminate jobs
You can Terminate or Stop jobs whose Latest Status is
Running. -
Análisis de trabajos
En la lista de trabajos, haga clic en Insights dentro de la columna Actions column for a job to view a job overview, resource consumption details, the resource allocation of its quota group at a specific time, and trigger an intelligent job diagnosis.
Actualmente, el diagnóstico inteligente de trabajos solo es compatible con trabajos SQL.
Los datos de consumo de recursos a nivel de trabajo solo están disponibles para trabajos de SQL, MapReduce, Spark o Mars que se ejecuten durante dos minutos o más.
Gráfico de estadísticas de trabajos
Según los criterios de filtrado, un gráfico de barras apiladas muestra la cantidad de trabajos a lo largo del tiempo y por estado. Esto proporciona una descripción general de alto nivel sobre la ejecución de los trabajos.
-
El intervalo de tiempo de cada barra depende del valor seleccionado en Time Range:
Si el valor de Time Range es de 24 horas o menos, cada barra representa un intervalo mínimo de 2 minutos. La cantidad de barras se ajusta automáticamente hasta un máximo de 24.
Si el valor de Time Range es mayor a 24 horas y de hasta 48 horas, cada barra representa un intervalo de 2 horas. La cantidad de barras se ajusta automáticamente hasta un máximo de 24.
Si el valor de Time Range es mayor a 48 horas y de hasta 7 días, cada barra representa un intervalo de 6 horas. La cantidad de barras se ajusta automáticamente hasta un máximo de 29.
-
Los estados de trabajo incluidos en las estadísticas son los siguientes:
Running: la instantánea del trabajo tiene el estado Running.
Finalizado: el estado del trabajo es Succeeded, Failed o Terminated.
Dado que los datos de las instantáneas de trabajos se recopilan cada tres minutos, es posible que algunos trabajos no se capturen. Por lo tanto, el estado de la instantánea de un trabajo puede estar vacío incluso si el trabajo se está ejecutando.
Haga clic y arrastre dentro del gráfico para seleccionar y ampliar un intervalo de tiempo más reducido.
Lista de trabajos
La lista de trabajos muestra aquellos que coinciden con los criterios de filtrado e incluye información clave sobre ellos. MaxCompute ofrece dos vistas de lista para distintos escenarios: la Regular Job List y la Snapshot List.
Regular Job List: muestra información de todos los trabajos que se ejecutaron dentro de un periodo de tiempo específico.
Snapshot List: muestra una instantánea de los trabajos que se estaban ejecutando en un momento específico. Incluye el estado de la instantánea, así como el uso de CPU y memoria, la cantidad de solicitudes y su porcentaje respecto al total en el momento de la captura.
Para obtener una explicación detallada de los parámetros que se muestran en la lista de trabajos, consulte Job parameter description.
Límites
Actualmente no se recopila la siguiente información de los trabajos:
Los datos de las instantáneas de trabajos se recopilan cada tres minutos. Por lo tanto, los trabajos que inician y finalizan dentro de un mismo intervalo de recopilación de tres minutos no se capturan en las instantáneas.
No se pueden recopilar los datos de algunos trabajos de MaxCompute iniciados mediante PAI, en especial los de usuarios de RAM.
No se pueden recopilar los datos de los trabajos en proyectos de Developer Edition (próxima a descontinuarse).
Debido a la latencia en el procesamiento de datos, cuando consulte la lista actual de trabajos, un trabajo podría mostrar un estado actual de Running aunque ya haya finalizado en LogView. Esta situación es más común en trabajos muy cortos. Considere siempre que el estado en LogView es el definitivo.
Parámetros
Parámetros globales de filtrado de trabajos
Estos parámetros afectan el gráfico de estadísticas de trabajos y la lista de trabajos.
Parámetro | Descripción |
Time Range |
|
Choose Project | Filtra los trabajos por el nombre del proyecto de MaxCompute. Puede seleccionar varios proyectos. De forma predeterminada, este campo está vacío. |
Select Quota |
|
Job Type |
|
Parámetros de búsqueda de la lista de trabajos
Utilice estos parámetros para refinar los resultados en la lista de trabajos. Solo afectan dicha lista.
Parámetro | Descripción |
Instance ID |
|
Job Owner |
|
ExtNodeId |
|
ExtNodeName | Realiza la búsqueda por el nombre del trabajo en el sistema de origen del trabajo de MaxCompute. |
Signature | Realiza la búsqueda por la firma de un trabajo SQL. Este parámetro solo aplica a trabajos SQL. Utilice esta firma para encontrar todas las instancias generadas por cada ejecución de la misma consulta SQL. De forma predeterminada, este campo está vacío. |
Parámetros de filtrado por columna de la lista de trabajos
Utilice estos parámetros para filtrar aún más la lista de trabajos. Solo afectan dicha lista. Para aplicar un filtro, haga clic en el ícono de filtro 
junto al nombre de una columna.
Parámetro | Descripción |
Latest Status |
|
Priority |
|
Intelligent Diagnostics |
|
Columnas generales de la lista
Nombre de la columna | Descripción |
Instance ID | El identificador único de la instancia para un trabajo de MaxCompute. Esta columna también muestra el proyecto, el grupo de cuotas y el tipo de trabajo.
|
Latest Status | El estado más reciente del trabajo. |
Job Owner | La cuenta de Alibaba Cloud que ejecutó el trabajo de MaxCompute. Puede usar esta información para identificar a la persona responsable de un trabajo. Si un trabajo consume demasiados recursos y afecta otras tareas, contacte al propietario del trabajo para detenerlo. Para conocer las instrucciones sobre cómo detener un trabajo, consulte Instance operations. |
Priority | La prioridad del trabajo, que va de 0 a 9. Un número menor indica una prioridad más alta. Los trabajos con mayor prioridad obtienen recursos de cómputo antes que los de menor prioridad. Para obtener más información, consulte Job Priority. |
Submission Time | La hora en la que se envió la instancia. |
Start Running Time | The time when the job received the first computing resource. If the running time of a job is too short or a job does not consume computing resources, such as DDL statements, use the submission time of the job instead. Esta columna está oculta de forma predeterminada. Puede mostrarla al personalizar la configuración de columnas. |
Waiting Duration | The duration from the time a job is submitted to the time it starts to run. If the job has no start time, the duration from the submission time to the snapshot time is displayed. Esta columna está oculta de forma predeterminada. Puede mostrarla al personalizar la configuración de columnas. |
Execution Duration | The duration from the start time to the end time of a job. Esta columna está oculta de forma predeterminada. Puede mostrarla al personalizar la configuración de columnas. |
End Time | The end time of a job. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated. |
Total Used CPU Resources | El total de recursos de CPU consumidos por el trabajo durante toda su ejecución. La unidad es |
Total Amount of Used Memory Resources | El total de recursos de memoria consumidos por el trabajo durante toda su ejecución. La unidad es |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Usage Percentage Snapshot | The latest memory usage percentage collected 1 minute before the job deadline of the time range. It is calculated by using the formula: Memory Size Occupied/(Minimum Reserved CU Memory + Minimum Elastically Reserved CU Memory). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Input Size | La cantidad de datos de entrada que procesó el trabajo. |
Intelligent Diagnostics | Las etiquetas generadas a partir de los resultados de la función Intelligent Diagnosis. |
ExtPlatformId | El cliente que inició el trabajo, como DataWorks. El iniciador debe pasar información al iniciar un trabajo. Para conocer las convenciones de datos obligatorias, consulte Job Universal Identifier Conventions. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. El iniciador debe proporcionar información al enviar un trabajo. Para conocer las convenciones sobre esta información, consulte General Job Identifier Conventions. |
ExtNodeName | The task name that corresponds to the job initiator, such as the name of a DataWorks scheduling node.. El iniciador debe pasar información al iniciar un trabajo. Para conocer las convenciones de información, consulte General Job Identifier Convention. |
ExtNodeOnDuty | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node. El iniciador debe pasar información al iniciar un trabajo. Para conocer las convenciones sobre el paso de información, consulte Job General Identifier Conventions. |
Signature | The signature of an SQL job. You can use this signature to search for the instance on which the SQL job runs. |
Columnas de la lista de instantáneas
Nombre de la columna | Descripción |
Instance ID | El identificador único de la instancia para un trabajo de MaxCompute. Esta columna también muestra el proyecto, el grupo de cuotas y el tipo de trabajo.
|
Snapshot Time | The time when snapshot information is collected for the job. |
Snapshot Status | The status of a job at the snapshot time. |
Job Owner | La cuenta de Alibaba Cloud que ejecutó el trabajo de MaxCompute. Puede usar esta información para identificar a la persona responsable de un trabajo. Si un trabajo consume demasiados recursos y afecta otras tareas, contacte al propietario del trabajo para detenerlo. Para conocer las instrucciones sobre cómo detener un trabajo, consulte Instance operations. |
Priority | La prioridad del trabajo, que va de 0 a 9. Un número menor indica una prioridad más alta. Los trabajos con mayor prioridad obtienen recursos de cómputo antes que los de menor prioridad. Para obtener más información, consulte Job Priority. |
CPU Cores in Use | Number of CPU cores in use for a job at the snapshot time. |
Requested CPU Cores | The number of requested CPU cores of a job at the snapshot time. |
CPU Satisfaction Rate | Number of CPU cores in use/Number of requested CPU cores of a job at the snapshot time. |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Size Occupied | The size of requested memory space of a job at the snapshot time. La unidad se muestra de forma adaptativa. |
Requested Memory Size | The size of requested memory space of a job at the snapshot time. La unidad se muestra de forma adaptativa. |
Memory Satisfaction Rate | Memory size occupied/Requested memory size of a job at the snapshot time. |
Memory Usage Percentage Snapshot | The memory usage percentage of a job at the observation time, which is calculated by using the following formula: Amount of used memory resources/(Amount of reserved memory resources + Amount of elastically reserved memory resources). Esta métrica no está disponible para trabajos de pay-as-you-go ni si no se capturó ninguna instantánea. |
Submission Time | The time when a job was submitted. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated. |
ExtPlatformId | El cliente que inició el trabajo, como DataWorks. El iniciador debe pasar información al enviar un trabajo. Para conocer las convenciones sobre esta información, consulte General Job Identifier Conventions. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. El cliente debe pasar información cuando inicia un trabajo. Para conocer las convenciones sobre esta información, consulte General Job Identifier Conventions. |
ExtNodeOnDuty | The task name that corresponds to the job initiator, such as the name of a DataWorks scheduling node. El iniciador debe pasar información al iniciar un trabajo. Para conocer las convenciones sobre el paso de información, consulte General Job Identifier Convention. |
Signature | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node. |
Escenarios comunes de O&M
Consultar los detalles de ejecución de un trabajo específico
Caso de uso
Este escenario abarca la consulta del estado de ejecución de un trabajo iniciado por un nodo de programación horaria de DataWorks o la auditoría de un trabajo específico de MaxCompute.
Procedimiento
Inicie sesión en la consola de MaxCompute y seleccione una región en la esquina superior izquierda.
En el panel de navegación izquierdo, elija .
En la página Jobs, seleccione un Jobs y haga clic en Search.
Arriba de la lista de trabajos, seleccione ExtNodeId o Instance ID e introduzca el valor correspondiente al trabajo.
-
Haga clic en el icono
para filtrar nuevamente la lista de trabajos.En los resultados de la consulta, haga clic en LogView dentro de la columna Actions de una instancia para consultar su información detallada de ejecución. Para obtener más información sobre LogView, consulte View job run information by using LogView 2.0.
Consultar los detalles de ejecución de trabajos por periodo de tiempo
Caso de uso
Este escenario abarca la consulta de los trabajos ejecutados para Project_1 y Project_2 durante el último día, el análisis de los trabajos con errores y la gestión de dichos trabajos.
Procedimiento
Inicie sesión en la consola de MaxCompute y seleccione una región en la esquina superior izquierda.
En el panel de navegación izquierdo, elija .
Establezca el Time Range en 1d o defina un Time Range personalizado desde las
00:00:00del día actual hasta la hora actual.En la lista desplegable Time Range, seleccione Project_1 y Project_2.
En los resultados de la consulta, haga clic en LogView dentro de la columna Choose Project de una instancia para consultar su información detallada de ejecución. Para obtener más información sobre LogView, consulte View job run information by using LogView 2.0.
Consultar el uso de recursos de un trabajo en una cuota de suscripción
Caso de uso
Cuando el uso de recursos de Default Subscription Quota es alto y hay muchos trabajos en espera, este escenario le permite identificar qué trabajos específicos están consumiendo los recursos de la cuota.
Procedimiento
Inicie sesión en la consola de MaxCompute y seleccione una región en la esquina superior izquierda.
En el panel de navegación izquierdo, elija .
Establezca el Time Range en 1h o especifique una hora de inicio y de fin personalizadas.
Configure el parámetro Time Range como
Default Subscription Quotay haga clic en Search.En la lista de resultados de la consulta, revise la Search y la CPU Utilization Percentage Snapshot de los trabajos cuyo Memory Usage Percentage Snapshot sea
Running. Compruebe si el trabajo que consume más recursos cumple con los requisitos del negocio. Utilice el resto de la información del trabajo para determinar si funciona según lo esperado o si debe finalizarlo.En los resultados de la consulta, haga clic en LogView dentro de la columna Actions de una instancia para consultar su información detallada de ejecución. Para obtener más información sobre LogView, consulte View job run information by using LogView 2.0.
Consultar los detalles de ejecución de trabajos de Query Acceleration
Caso de uso
Este escenario abarca la consulta del estado de ejecución y los detalles de los trabajos de Query Acceleration durante el último día.
Procedimiento
Inicie sesión en la consola de MaxCompute y seleccione una región en la esquina superior izquierda.
En el panel de navegación izquierdo, elija .
Establezca el Time Range en 1d y el Time Range en SQLRTJob Type. Después, haga clic en (Query Acceleration).
En los resultados de la consulta, haga clic en LogView dentro de la columna Actions de una instancia para consultar su información detallada de ejecución. Para obtener más información sobre LogView, consulte View job run information by using LogView 2.0.
En los trabajos que utilizan la función Query Acceleration, se pueden ejecutar varias instrucciones SQL en la misma sesión. Cada sesión corresponde a un Instance ID. Mediante el LogView del Instance ID, puede consultar el estado de ejecución de todas las instrucciones SQL de la sesión. Por lo tanto, tenga en cuenta lo siguiente al revisar los trabajos de Query Acceleration en la página Jobs:
Si la sesión no ha finalizado, es decir, algunas instrucciones SQL ya terminaron y otras siguen ejecutándose, el Jobs del trabajo será
Running.Si la sesión caduca o se cierra, el Latest Status del trabajo será
Cancelled.
Consumo de recursos de trabajos y asignación de cuotas de cómputo
Caso de uso
Si un trabajo se ejecuta durante mucho tiempo y no logra identificar la causa en LogView, o si un trabajo avanza más lento de lo esperado, necesita determinar si el problema se debe a recursos insuficientes.
Procedimiento
Inicie sesión en la consola de MaxCompute y seleccione una región en la esquina superior izquierda.
En el panel de navegación izquierdo, elija .
Seleccione un Jobs y filtre por Select Quota. Luego, haga clic en Select Quota.
Localice el Instance ID de destino y haga clic en Search dentro de la columna Actions para ir a la página Actions.
-
En la pestaña Job Insights, consulte el consumo de recursos del trabajo durante todo su ciclo de vida.
El gráfico de consumo de recursos muestra las curvas de CU utilizadas y CU en espera a lo largo del tiempo en el nivel de trabajo, así como la tendencia de CU utilizadas y CU en espera en el nivel de cuota. Si el trabajo usa pocas CU, pero la cuota a la que pertenece utiliza muchas o incluso alcanza el límite máximo de forma continua, los recursos de la cuota son insuficientes. En ese caso, otros trabajos compiten por recursos de cómputo con el trabajo actual.
Haga clic en un punto temporal del eje horizontal del gráfico de consumo de recursos para ver la asignación de recursos de la cuota de cómputo en ese momento, incluida la cantidad de trabajos y la distribución de prioridades. Haga clic en el bloque de color correspondiente a una prioridad para ir a la lista de trabajos y consultar la información detallada del trabajo. Esto le ayuda a identificar los trabajos que compiten por recursos de cómputo con el trabajo actual. Puede optimizar la ejecución de tareas según sus necesidades de negocio mediante el ajuste de la prioridad de los trabajos o la gestión de los recursos de cómputo. Para obtener más información, consulte job priority o Compute resources - Quota management.
Siguientes pasos
Si un trabajo consume constantemente un porcentaje alto de recursos mientras otros trabajos permanecen en cola, considere las siguientes acciones:
Si el trabajo no coincide con sus necesidades de negocio, finalícelo.
Si el trabajo sí coincide con sus necesidades de negocio, es posible que la configuración de recursos de la cuota no sea óptima. Optimice su configuración de recursos. Para obtener más información, consulte Compute resource configuration optimization.
Documentos relacionados
Para conocer los comandos que permiten consultar la información y el estado de los trabajos, así como detenerlos, consulte instance operations.