Las líneas base inteligentes detectan excepciones que impiden la finalización puntual de las tareas y envían advertencias tempranas. Esto garantiza que los datos importantes se generen según lo programado, incluso en escenarios con dependencias complejas. De este modo, se reducen los costos de configuración, se evitan alertas innecesarias y se monitorean automáticamente todas las tareas críticas.
Casos de uso
-
Gestionar prioridades de tareas.
Cuando los recursos son limitados, puede producirse contención por ellos. Agregue las tareas importantes a una línea base de alta prioridad para que reciban recursos primero.
-
Calcular el tiempo estimado de finalización de una tarea.
Al agregar una tarea a una línea base, DataWorks calcula su tiempo estimado de finalización diario o por hora según la disponibilidad de recursos y el estado de las tareas antecesoras.
-
Asegurar que las tareas finalicen antes de su hora comprometida.
Agregue una tarea a una línea base y establezca una hora comprometida. Si el sistema predice que la tarea no cumplirá con dicha hora, o si una tarea antecesora falla o se ralentiza, se envía una alerta para que pueda resolver el problema a tiempo.
Conceptos
Línea base: Conjunto de tareas importantes con una hora de finalización comprometida. El sistema monitorea el estado de ejecución y activa alertas cuando existe riesgo de incumplir ese plazo.
Hora comprometida: Fecha límite en la que una tarea debe completarse correctamente para garantizar que sus datos de salida estén listos para el consumo posterior. Para dar tiempo al equipo de operaciones a manejar excepciones, establezca un Alert Margin Threshold para la línea base. El sistema utiliza la fórmula
committed time - alert marginpara determinar la hora de alerta, que es el umbral para activar una notificación.Tarea de línea base: Tarea agregada a una línea base.
-
Instancia de línea base: Instantánea por ejecución que se usa para calcular el tiempo estimado de finalización de cada tarea. Una instancia de línea base tiene uno de los siguientes estados: Safe, Warning o Breached.
Safe:
Estimated completion time < Alert time.Warning:
Alert time < Estimated completion time < Committed time.Breached:
Estimated completion time > Committed time.
Ruta crítica: Ruta con el mayor tiempo de ejecución entre todas las que afectan a una tarea de línea base.
Evento: Se genera cuando falla una tarea de línea base o alguna de sus antecesoras, o cuando se ralentiza una tarea en la ruta crítica. Los eventos pueden retrasar la finalización de la tarea de línea base.
Funcionamiento
Al agregar tareas a una línea base, DataWorks asigna recursos según la prioridad de esta y determina el alcance del monitoreo a partir de las dependencias de las tareas. Las alertas se activan según el estado real de ejecución de las tareas dentro de dicho alcance.
El alcance del monitoreo se determina en función de una tarea K de la línea base.
Nodos antecesores de la tarea de línea base: Todos los nodos que afectan la salida de la tarea K se incluyen en el alcance del monitoreo:
Nodos descendientes de la tarea de línea base: No se incluyen en el alcance del monitoreo:
Ruta crítica: La ruta más larga entre todas las que afectan a la tarea K:
-
Crear una línea base:
Especifique la tarea K que se agregará a la línea base.
Establezca la prioridad de la línea base y los parámetros de la directiva de alertas.
Se activa una alerta de línea base o de evento según el estado real de ejecución de las tareas dentro del alcance del monitoreo.
La línea base inteligente ofrece las siguientes capacidades:
-
Crear y gestionar líneas base.
La página Baselines permite crear y gestionar líneas base:
Agregue a una línea base las tareas que requieran soporte ante eventos importantes, establezca la hora comprometida y configure las directivas de alerta (método y destinatarios). El sistema monitorea las tareas y envía alertas según estos ajustes.
-
Establezca una prioridad de línea base para controlar el orden de ejecución de las tareas. Las líneas base con mayor prioridad reciben recursos primero cuando los recursos de programación son limitados.
Nota-
Esta prioridad se asigna a la prioridad de una tarea de cómputo de MaxCompute si se cumplen las dos condiciones siguientes:
La función de prioridad está habilitada para el proyecto de MaxCompute.
El proyecto de MaxCompute utiliza recursos de cómputo bajo suscripción.
Prioridad del trabajo de MaxCompute = 9 - Prioridad de la línea base de DataWorks.
-
-
Determinar el alcance del monitoreo.
DataWorks determina el alcance del monitoreo según las dependencias de las tareas y supervisa todas aquellas que puedan afectar la salida de datos de la línea base. Core logic: Monitoring scope.
-
Activar y enviar alertas
-
Alertas de línea base.
DataWorks activa alertas automáticamente según la directiva configurada y el estado real de ejecución de las tareas; además, envía mensajes de alerta a los destinatarios especificados en tiempo real. Si el sistema predice que una tarea de línea base no podrá completarse antes de la hora comprometida, envía una alerta de línea base. Core logic: Baseline alerts.
-
Alertas de eventos.
Una vez determinado el alcance del monitoreo, si falla una tarea de línea base o sus tareas anteriores, o si se ralentiza una tarea en la ruta crítica, el sistema genera un evento y envía una alerta. Consulte los eventos en la página Events de DataWorks. Event management.
-
Facturación
Número de instancias de línea base: Todas las líneas base habilitadas generan instancias. DataWorks cobra según las instancias generadas hasta las 23:59 de cada día. Billing of intelligent baseline instances.
Número de mensajes de texto y llamadas telefónicas de alerta: Las alertas de línea base generan cargos por mensajes de texto y llamadas telefónicas. Billing of alert text messages and phone calls.
Límites
Solo DataWorks Standard Edition y ediciones posteriores admiten líneas base inteligentes. Actualice su edición si utiliza una versión anterior. Features of different DataWorks editions.
Lógica principal: Alcance del monitoreo
La línea base inteligente monitorea las tareas anteriores que afectan la salida de datos, no todas las tareas anteriores y posteriores. El alcance del monitoreo es el siguiente:
Tareas anteriores: Se monitorean las tareas que afectan la salida de datos de la tarea de línea base.
Tareas posteriores: No se monitorean. No se activa ninguna alerta si falla una tarea posterior a la de línea base o una tarea en otra rama antecesora.
Como se muestra en la figura anterior, suponga que hay seis nodos de tarea. Las tareas D y E son tareas de línea base. Las tareas A y B afectan su salida de datos, por lo que A, B, D y E se monitorean. Si alguna de estas tareas falla o se ralentiza, la línea base inteligente lo detecta. Las tareas C y F quedan fuera del alcance del monitoreo.
Lógica principal: Alertas de línea base
Puede agregar tareas importantes a una línea base y establecer la Committed Completion Time y el Alert Margin Threshold. Posteriormente:
DataWorks usa la fórmula
committed time - alert marginpara calcular la Alerting Time. Luego, con base en el tiempo promedio histórico de ejecución de las tareas dentro del alcance del monitoreo, DataWorks utiliza las Baseline Instances para derivar los tiempos más recientes de inicio y finalización de cada tarea en dicho alcance.Durante la ejecución, si el estado de una tarea indica que una tarea de línea base no se completará antes de la Alerting Time, DataWorks activa una alerta de línea base.
Lógica principal: Alertas de eventos
Cuando una tarea monitoreada presenta anomalías, el sistema genera un evento y activa una alerta. Las condiciones anómalas incluyen:
Error: Falla la ejecución de la tarea.
Slow: El tiempo de ejecución actual de la tarea supera significativamente su promedio histórico.
Se activa un evento de ralentización cuando el tiempo de ejecución de una tarea supera los 30 minutos y excede su promedio histórico por lo menos en 15 minutos.
Si la misma tarea primero se ralentiza y luego falla, se generan dos eventos.
Consulte los detalles del evento en la página Event Management.
Lógica principal: Ruta crítica e instancias clave
Las dependencias de tareas en una línea base pueden ser complejas. DataWorks proporciona un diagrama de Gantt para ayudarle a localizar la ruta crítica y las instancias clave que bloquean la salida de datos. La ruta crítica es aquella con la mayor duración entre todas las rutas que afectan la salida de una tarea de línea base.
Ejemplo
Escenario: La hora actual es 6:40 y la tarea F sigue ejecutándose.
-
Advertencia de línea base:
YYYY-MM-DD HH:mm:ss
Advertencia de línea base XX, hora de negocio XX, margen: -10 min...
-
Alerta de evento:
YYYY-MM-DD HH:mm:ss
Recordatorio de evento, hora de negocio XX, tarea XX, estado: Retrasado...
Un diagrama de Gantt muestra la ruta de ejecución crítica de una tarea objetivo. La ruta crítica y la hora de detección de la excepción para el ejemplo anterior son las siguientes: