DataWorks:Gestión de líneas base

Contexto

Smart Baseline detecta excepciones que podrían impedir que las tareas finalicen a tiempo y envía alertas anticipadas. De este modo, garantiza que los datos importantes se generen en el horario previsto, incluso en escenarios con dependencias complejas. Para obtener más información, consulte Smart Baseline overview.

Una vez creada y habilitada, la línea base entra en vigor al día siguiente. Después, acceda a la página Auto Triggered Instances para consultar el estado de ejecución de la línea base.

Límites

• Requisitos de versión:

  La gestión de líneas base solo está disponible en DataWorks Standard Edition y versiones posteriores. Si utiliza una versión anterior, actualice primero su instancia de DataWorks. Para obtener más información, consulte Features of DataWorks editions.

• Control de permisos:

  • Solo una cuenta de Alibaba Cloud o un usuario de RAM con el rol de administrador del espacio de trabajo o administrador del inquilino puede crear líneas base.

  • Únicamente el administrador del inquilino y el propietario de la línea base pueden habilitar, deshabilitar, eliminar o modificar una línea base.

  Para otorgar estos permisos a un usuario, asígnele los roles correspondientes. Para obtener más información, consulte Add workspace members and assign roles.

• Métodos de notificación de alertas:

  DataWorks admite varios métodos de notificación de alertas, entre ellos Email, SMS, phone calls, DingTalk Chatbot y Webhook. A continuación se describen los límites de cada método.

  Método de notificación	Regiones disponibles	Ediciones disponibles	Descripción
  SMS	Todas las regiones	Standard Edition y versiones posteriores.	Para recibir alertas por mensaje de texto en otras regiones, haga clic en el enlace de la aplicación para unirse al grupo de chat "Alibaba Cloud Big Data AI Platform". Luego, escanee el código QR que aparece a continuación para unirse al grupo de DingTalk del producto DataWorks y obtener asistencia. Allí puede solicitar ayuda al chatbot o comunicarse con un ingeniero de guardia durante el horario laboral.
  Telephone	Todas las regiones	Todas las ediciones	Las alertas por llamada telefónica solo son compatibles con números de celular de China continental.
  Webhook	Todas las regiones	Basic Edition	Admite el envío de alertas a grupos de DingTalk, Lark y WeCom mediante webhooks de grupo.
  		Enterprise Edition	Además de las funciones de Basic Edition, Enterprise Edition admite webhooks personalizados para recibir alertas. Nota Si necesita usar un webhook personalizado, consulte Custom webhooks for smart monitoring para conocer los detalles de configuración.

  Nota

  Para que un usuario de RAM reciba alertas por mensaje de texto o llamada telefónica, agréguelo como contacto de alertas en la página Alert Contacts. Cuando una tarea falla, DataWorks notifica a los contactos asociados. Para obtener más información, consulte View and manage alert contacts.

Creación de una línea base

1. Acceda a la página Operation Center.

Inicie sesión en la consola de DataWorks. Después de seleccionar una región, haga clic en Data Development and O&M > Operation Center en el panel de navegación izquierdo. En la lista desplegable, seleccione el espacio de trabajo deseado y haga clic en Operation Center.

2. En el panel de navegación izquierdo, haga clic en Task Monitoring > Intelligent Baselines.

3. Cree la línea base.

   1. En la pestaña Baselines, haga clic en Create Baseline.

   2. Configure las propiedades básicas de la línea base.

      A continuación se describen los parámetros.

      Parámetro	Descripción
      Baseline Name	Nombre personalizado de la línea base.
      Belongs work space	Seleccione el espacio de trabajo que contiene los nodos que desea monitorear. Nota Cuando configure el parámetro Nodes, solo podrá seleccionar nodos y flujos de trabajo dentro de este Belongs work space.
      Owner	Propietario de la línea base.
      Baseline Type	Ciclo de monitoreo de la línea base: diario u horario. Day-level Baseline: monitorea las tareas diariamente. Recomendado para tareas programadas cada día. Hour-level Baseline: monitorea las tareas cada hora. Más indicado para tareas programadas por hora.
      Nodes	Seleccione las tareas cuya finalización a tiempo desea monitorear. Al agregar un nodo a una línea base, este se traslada de su línea base actual a la nueva. Node: introduzca el nombre o el ID de un nodo y haga clic en el botón Add. Puede agregar varios nodos a la línea base. Workflow: introduzca el nombre o el ID de un flujo de trabajo y haga clic en el botón Add. De forma predeterminada, todos los nodos del flujo de trabajo se agregan a la línea base. Nota Después de seleccionar un flujo de trabajo, se recomienda agregar únicamente sus nodos ubicados más abajo en la cadena de dependencias. Una vez agregados, la línea base incluye automáticamente en su alcance de monitoreo todos los nodos ascendentes que afectan la salida de datos de dichos nodos. No se recomienda agregar todos los nodos de un flujo de trabajo a una línea base.
      Priority	Prioridad de la línea base. Un valor mayor indica una prioridad más alta. Cuando los recursos de programación son limitados, las tareas de las líneas base con mayor prioridad se programan primero. Esta configuración se aplica a las instancias desencadenadas automáticamente que se generan al día siguiente. Nota Nodos de MaxCompute: La prioridad de la línea base se asigna a la prioridad de los trabajos de cómputo de MaxCompute cuando se cumplen las siguientes condiciones: La función de prioridad está habilitada para el proyecto de MaxCompute. El proyecto de MaxCompute utiliza recursos de cómputo de suscripción. Prioridad del trabajo de MaxCompute = 9 - prioridad de la línea base de DataWorks. Nodos de EMR: Puede asignar las prioridades de la línea base a las prioridades de la cola de YARN para ajustar la prioridad final de la cola de YARN de un nodo. Esto determina si el nodo se programa y ejecuta de manera preferente. Para obtener más información, consulte Configure mappings between baseline priorities and YARN queue priorities. En el caso de las tareas de EMR Serverless Spark, la prioridad de la línea base se asigna a la prioridad de Spark tal como se muestra en la tabla que aparece a continuación. Prioridad de la línea base Prioridad de Spark 8 9 7 7 5 5 3 3 1 0 Si la prioridad de una tarea de EMR Serverless Spark se especifica explícitamente en Spark Config, la configuración de Spark Config tiene precedencia. Una vez que un nodo se agrega a una línea base, esta define su prioridad. Dicha prioridad se propaga después a todas las dependencias ascendentes del nodo. Si un nodo afecta la salida de datos de varias líneas base con distintas prioridades, la prioridad del nodo se determina según la más alta entre ellas. La prioridad de la línea base no afecta a los nodos ascendentes con dependencias entre ciclos.
      Estimated Completion Time	DataWorks calcula el tiempo de finalización estimado con base en el promedio de finalización de las tareas de la línea base durante un periodo histórico (por lo general, los últimos 10 días). Si el tiempo de finalización estimado es posterior a la hora de la alerta, se activa una alerta de línea base. Para obtener detalles sobre el mecanismo de alertas, consulte Appendix: Baseline alerting mechanism. Nota Si los datos históricos son insuficientes, el sistema muestra el mensaje: The completion time cannot be estimated due to the lack of historical data.
      Committed Completion Time	Fecha límite en la que deben completarse las tareas de la línea base. También representa la fecha límite para la generación de datos. La línea base utiliza esta hora para calcular la hora de la alerta. Configure el tiempo de finalización comprometido con base en el tiempo de finalización estimado. La hora de la alerta (calculada como committed finish time - alert margin threshold) debe ser posterior al tiempo de finalización estimado de las tareas. Nota La fórmula de la hora de la alerta es alert time = committed finish time - alert margin threshold. Se activa una alerta si el sistema prevé que una tarea no finalizará antes de la alert time. Por ejemplo, si el tiempo de finalización comprometido se establece en 3:30 y el umbral de margen de alerta es de 10 minutos, la hora de la alerta será 3:20. Se envía una alerta de línea base si el sistema prevé que la tarea no terminará antes de esa hora. Para una línea base horaria, debe especificar qué instancia por hora (es decir, qué ciclo de ejecución específico) requiere monitoreo y establecer su tiempo máximo de finalización. Dado que las tareas de una línea base pueden tardar más de 24 horas en ejecutarse, puede establecer el tiempo de finalización comprometido dentro de una ventana de dos días, desde 00:00 hasta 47:59. Por ejemplo, si una tarea se ejecuta durante más de un día, puede establecer la hora en 36:00.
      Alert Margin Threshold	Determina con cuánta anticipación se activa una alerta respecto al tiempo de finalización comprometido. La hora de la alerta resultante debe ser posterior al tiempo de finalización estimado para evitar alertas frecuentes e innecesarias. Configure este umbral según el tiempo de ejecución de las tareas de la línea base. Para obtener más información, consulte Configure an appropriate committed finish time and alert margin threshold.

4. Configure las alertas de la línea base.

   Las directivas de alertas incluyen las alertas de línea base, que se activan cuando se prevé un retraso en los datos, y las alertas de eventos, que se desencadenan por errores o ralentizaciones que afectan a las tareas de la línea base o a sus dependencias. Antes de configurar estos ajustes, se recomienda revisar el mecanismo de alertas. Para obtener más información, consulte Appendix: Baseline alerting mechanism.

   1. Habilite las alertas.

      Una vez habilitadas las alertas, DataWorks comprueba las condiciones que coinciden con las reglas de alerta y envía las notificaciones correspondientes.

      • Si el sistema prevé que las tareas de la línea base no finalizarán dentro del tiempo comprometido, envía una alerta de línea base mediante el método de notificación configurado. Para obtener más información, consulte Key logic: baseline alerts.

      • Si una tarea de la línea base o sus dependencias ascendentes presentan un error, o si una tarea de la ruta crítica se ralentiza, el sistema envía una alerta de evento mediante el método de notificación configurado. Consulte la lista de eventos existentes en la página Events de DataWorks. Para obtener más información, consulte Manage events.

   Nota

   Si deshabilita las alertas, la línea base no genera ninguna. Sin embargo, mientras la línea base esté habilitada, se seguirán generando instancias de línea base y la configuración de prioridad continuará vigente.

   2. Seleccione los métodos de notificación.

      Después de habilitar las alertas, seleccione los métodos de notificación según sus necesidades. Se recomienda configurar tanto alertas de línea base como alertas de eventos para las tareas críticas.

      Importante

      • Las alertas de línea base y de eventos solo se activan para instancias desencadenadas automáticamente cuya fecha de negocio corresponda a ayer o anteayer. Las instancias fuera de este rango no se monitorean para generar alertas.

      • Si no recibe las alertas, consulte What do I do if I cannot receive alerts after I configure alert settings in Operation Center?

      Alerta de línea base

      Parámetro	Descripción
      Enable Alerting	Habilita o deshabilita las alertas para esta línea base. Nota Si deshabilita las alertas, la línea base no genera ninguna. Sin embargo, mientras la línea base esté habilitada, se seguirán generando instancias de línea base y la configuración de prioridad continuará vigente.
      Alert Notification Method	Admite el envío de alertas por Email, SMS, or Phone call al propietario de la línea base, al ingeniero de guardia del calendario de turnos o a destinatarios específicos. Para configurar un calendario de turnos, consulte Shift schedule. Admite el envío de alertas a otras aplicaciones, como DingTalk, WeCom y Lark, mediante un DingTalk Chatbot o un Webhook. Para configurar un chatbot de DingTalk, consulte Scenario: Send alert notifications to a DingTalk group. Nota Utilice Check Contact Information o Send Test Message para comprobar que las alertas se envíen correctamente. Las alertas por llamada telefónica solo están disponibles en DataWorks Professional Edition y versiones posteriores. Si selecciona alertas por llamada telefónica, DataWorks limita la frecuencia de llamadas para evitar una saturación en periodos cortos. Cada usuario recibe como máximo una llamada de alerta dentro del intervalo de recepción especificado, y las llamadas adicionales se cambian a mensajes de texto. El intervalo de recepción predeterminado es de 20 minutos y se puede modificar en la configuración de la directiva de alertas del inquilino de Rule management.
      Maximum Alerts	Número máximo de alertas que se pueden enviar. Al alcanzar este límite, no se generan más alertas.
      Minimum Alert Interval	Intervalo de tiempo mínimo entre dos alertas consecutivas.
      Alerting Do-Not-Disturb Period	Si establece un periodo de no molestar, el sistema no envía alertas durante ese lapso. Por ejemplo, si el periodo de no molestar de una tarea se configura de 00:00 a 08:00, las alertas de línea base y de eventos no se activarán durante ese lapso. Si a las 08:00 el evento continúa en estado anómalo, se envía una alerta.

      Alerta de evento

      Parámetro	Descripción
      Event Type	Tipos de eventos que activan una alerta: Error: falla una tarea dentro del alcance de monitoreo de la línea base. Slow: una tarea dentro del alcance de monitoreo de la línea base tarda significativamente más que su tiempo promedio de ejecución en un periodo anterior.
      Alert Notification Method	Admite el envío de alertas por Email, SMS, or Phone call al propietario de la tarea, al ingeniero de guardia del calendario de turnos o a destinatarios específicos. Para configurar un calendario de turnos, consulte Shift schedule. Admite el envío de alertas a otras aplicaciones, como DingTalk, WeCom y Lark, mediante un DingTalk Chatbot o un Webhook. Para configurar un chatbot de DingTalk, consulte Scenario: Send alert notifications to a DingTalk group. Nota Utilice Check Contact Information o Send Test Message para comprobar que las alertas se envíen correctamente. Las alertas por llamada telefónica solo están disponibles en DataWorks Professional Edition y versiones posteriores. Si selecciona alertas por llamada telefónica, DataWorks limita la frecuencia de llamadas para evitar una saturación en periodos cortos. Cada usuario recibe como máximo una llamada de alerta dentro del intervalo de recepción especificado, y las llamadas adicionales se cambian a mensajes de texto. El intervalo de recepción predeterminado es de 20 minutos y se puede modificar en la configuración de la directiva de alertas del inquilino de Rule management.
      Maximum Alerts	Número máximo de alertas que se pueden enviar. Al alcanzar este límite, no se generan más alertas.
      Minimum Alert Interval	Intervalo de tiempo mínimo entre dos alertas consecutivas.
      Alerting Do-Not-Disturb Period	Si establece un periodo de no molestar, el sistema no envía alertas durante ese lapso. Por ejemplo, si el periodo de no molestar de una tarea se configura de 00:00 a 08:00, las alertas de línea base y de eventos no se activarán durante ese lapso. Si a las 08:00 el evento continúa en estado anómalo, se envía una alerta.

   3. Haga clic en OK para crear la línea base.

Adición de nodos a una línea base

Un nodo solo puede pertenecer a una línea base a la vez. Si agrega a la línea base B un nodo que ya forma parte de la línea base A, este se trasladará a la línea base B.

Puede agregar nodos a una línea base de las dos maneras siguientes:

• Acceda a la página Baselines y haga clic en Create Baseline para agregar nodos.

• Acceda a la página Auto Triggered Node y elija More > Add Baseline para una tarea específica.

  Nota

  Este método solo permite crear una línea base nueva para las tareas seleccionadas. No sirve para agregar tareas a una línea base existente.

  • Agregar un solo nodo a una línea base

    En la columna Actions de la tarea desencadenada automáticamente de destino, haga clic en More > Add Baseline.

  • Agregar varios nodos a una línea base

    Seleccione varias tareas desencadenadas automáticamente y, en la barra de menús inferior, haga clic en Actions > Add Baseline.

Gestión de líneas base

En la página Baselines, filtre las líneas base por criterios como Owner, Workspace, Baseline Name y Priority, y realice las operaciones siguientes:

• Consulte View Details: consulte la información básica de las tareas de la línea base.

• Modify Baseline: modifique la configuración de la línea base según sea necesario.

• Consulte View Change Records: consulte el historial de cambios de la línea base.

• Enable o Disable Baseline: controla si la línea base está activa. Una línea base habilitada genera una instancia de línea base nueva cada día. Consulte los detalles diarios de la línea base en el panel Baseline Instances.

• Delete Baseline: elimine la línea base según sea necesario.

Apéndice: mecanismo de alertas de línea base

Las alertas de línea base constituyen un servicio de notificación para las líneas base que están habilitadas y tienen las alertas activadas. Configure el Alert Margin Threshold y el Committed Completion Time de una línea base con base en su Estimated Completion Time. DataWorks calcula el tiempo de finalización estimado a partir del tiempo promedio histórico de ejecución (generalmente los últimos 10 días) de las tareas monitoreadas. Después, el sistema monitorea las tareas según su estado de ejecución real. Si se prevé que una tarea de la línea base no cumplirá con la hora de la alerta (tiempo de finalización comprometido menos el umbral de margen de alerta), se envía una alerta de línea base a los destinatarios configurados.

• Directiva de alertas de línea base antes de que se ejecute una tarea:

  Nota

  Antes de que se ejecute una tarea diaria, el sistema de líneas base calcula el tiempo promedio de finalización de las tareas dentro de su alcance de monitoreo durante los últimos 10 días. Si se prevé que una tarea no cumplirá con la hora de la alerta, se envía de inmediato una alerta de línea base. En escenarios con dependencias de tareas complejas y cambiantes, las líneas base le ayudan a detectar problemas y recibir advertencias anticipadas.

  • Si el tiempo de finalización estimado de una tarea de la línea base, calculado a partir de su tiempo promedio de finalización en los últimos 10 días, es posterior a la hora de la alerta de la línea base, la plataforma activa una advertencia de línea base. Consulte el tiempo de finalización estimado calculado en la página Baselines. Para obtener más información, consulte Create a baseline.

  • Si el tiempo de finalización estimado de una tarea ascendente, calculado a partir de su tiempo promedio de finalización en los últimos 10 días, es posterior a la hora de la alerta de la línea base, la plataforma activa una advertencia de línea base.

• Directiva de alertas de línea base mientras se ejecuta una tarea:

  Se activa una advertencia de línea base si una tarea de la línea base finaliza después de la hora de la alerta de dicha línea base.

Pasos siguientes

Después de crear una línea base, puede realizar lo siguiente:

• View baseline instances: una línea base habilitada genera una instancia diaria. Consulte los detalles de ejecución de la línea base en la página Baseline Instances.

• EMR node: asigne las prioridades de la línea base a las prioridades de la cola de YARN para ajustar la prioridad final de la cola de YARN de un nodo de EMR. Así controlará si dicho nodo se programa y ejecuta de manera prioritaria.

• View baseline operation records: consulte en Operation Center el historial de todas las operaciones realizadas en sus líneas base.