Una vez que las tareas de sincronización de Data Integration entran en producción, es necesario dar seguimiento continuo a problemas como retrasos en la ejecución, tareas con errores y cambios en el uso de recursos. Las tareas de inspección inteligente comprueban de forma proactiva el estado de ejecución de las tareas de sincronización con una frecuencia configurada. Después de cada ejecución, generan un informe detallado de resultados con el diagnóstico de la causa raíz. El monitoreo de operaciones y mantenimiento recopila automáticamente la información de ejecución y analiza las causas cuando ocurre un evento anómalo; además, da seguimiento continuo a la recuperación de la tarea. Ambas funciones se ejecutan mediante el Data Agent de Data Integration. De este modo, la resolución manual y repetitiva de problemas se convierte en comprobaciones periódicas automatizadas y respuestas en tiempo real.
Descripción general de las funciones
Las tareas de inspección inteligente y el monitoreo de operaciones y mantenimiento cubren, respectivamente, las necesidades rutinarias y puntuales de operaciones y mantenimiento. Puede usarlas de forma independiente o combinada según sus requerimientos.
|
Función |
Propósito |
Método de activación |
Resultado principal |
|
Tareas de inspección inteligente |
Comprobaciones proactivas periódicas |
Se ejecuta según un calendario con la frecuencia configurada, o bien de forma manual |
Informe detallado de resultados con diagnóstico de la causa raíz |
|
Monitoreo de operaciones y mantenimiento |
Respuesta a eventos en tiempo real |
Se activa cuando una tarea alcanza un evento y un umbral configurados en el escenario |
Registros de monitoreo y conclusiones del seguimiento de recuperación |
Las tareas de inspección inteligente aplican a los escenarios de operaciones y mantenimiento de las tareas de sincronización de Data Integration. La entrada se encuentra en el grupo AI Native del panel de navegación izquierdo de Data Integration. Si no visualiza este grupo, la función no está disponible en el entorno actual.
Requisitos previos
Antes de usar por primera vez las tareas de inspección inteligente y el monitoreo de operaciones y mantenimiento, complete las siguientes preparaciones:
Vaya a la consola de Data Integration de DataWorks.
En el panel de navegación izquierdo, busque Data Agent dentro de AI Native.
Si Data Agent no está activado para su cuenta, siga las instrucciones en pantalla para adquirirlo. Una vez completada la compra, podrá acceder a la página del Data Agent de Data Integration.
Antes de usar por primera vez el Data Agent de Data Integration, compruebe que el resource group serverless de su inquilino tenga como mínimo 2 CU de cuota de recursos disponible. Si no existe ningún resource group, cree un serverless resource group.
El Data Agent ejecuta tanto las tareas de inspección inteligente como el monitoreo de operaciones y mantenimiento, y cada ejecución consume tokens. Los registros de ejecución de las tareas de inspección muestran el consumo de tokens de cada corrida para facilitar el seguimiento. Para obtener información sobre la escala de consumo de tokens y la facturación, consulte Facturación.
Tareas de inspección inteligente
Una tarea de inspección inteligente es una tarea automatizada que el Data Agent crea y gestiona. Después de seleccionar un escenario de inspección y establecer una frecuencia de ejecución, el Data Agent comprueba periódicamente el estado de ejecución de las tareas de sincronización. Luego escribe las conclusiones en un informe detallado de resultados que puede consultar en línea o descargar.
Escenarios de inspección integrados
En la parte superior de la página de lista de tareas se muestran tarjetas de escenarios recomendados que cubren las necesidades comunes de operaciones y mantenimiento para la sincronización en tiempo real y por lotes. Cada tarjeta muestra el nombre del escenario, su descripción y la frecuencia de ejecución predeterminada. Haga clic en una tarjeta para crear una tarea de inspección mediante la plantilla del escenario.
|
Escenario |
Enfoque |
Frecuencia de ejecución predeterminada |
|
Inspección de latencia de sincronización en tiempo real |
Latencia de negocio y acumulación de mensajes de las tareas en tiempo real en ejecución. Incluye valores actuales, tendencias de las últimas 24 horas y eventos de latencia que superan los umbrales. |
Por hora |
|
Inspección de excepciones y recuperación de sincronización en tiempo real |
Failovers y errores de ejecución de tareas en tiempo real durante la hora actual. Se enfoca en excepciones recurrentes a corto plazo y en tareas sin recuperar. |
Por hora |
|
Inspección de uso de recursos del espacio de trabajo en sincronización en tiempo real |
Uso de CU y memoria, así como capacidad restante de las tareas de sincronización en tiempo real en el espacio de trabajo actual. |
Por hora |
|
Inspección de estado y corrección de sincronización por lotes del día anterior |
Estado general de las tareas de sincronización por lotes del día anterior. Enumera las tareas con errores recientes que requieren atención y las que ya se recuperaron. |
Diaria |
|
Inspección de fluctuaciones de ejecución de sincronización por lotes |
Compara los cambios generales de ejecución entre el día anterior y el previo. Identifica periodos con crecimiento anómalo y el alcance común del impacto. |
Diaria |
|
Inspección de anomalías en el volumen de datos de sincronización por lotes del día anterior |
Detecta si las tareas por lotes ejecutadas correctamente el día anterior presentaron volúmenes de datos que cayeron a cero, disminuyeron de forma significativa o crecieron de manera anómala. |
Diaria |
|
Inspección de excepciones de tareas por origen de datos |
Agrupa las excepciones de tareas por origen de datos. Determina si los problemas de conexión, autenticación, red o lectura/escritura afectan varias tareas al mismo tiempo. |
Por hora |
Acceder a las tareas de inspección inteligente
Inicie sesión en la consola de DataWorks, vaya a su espacio de trabajo y abra Data Integration.
En el panel de navegación izquierdo de Data Integration, elija AI Native > Intelligent Inspection Tasks para ir a la página de lista de tareas de inspección inteligente.
Crear una tarea de inspección inteligente
Puede crear una tarea de inspección inteligente de las siguientes maneras. Seleccione el método que mejor se adapte a sus necesidades:
Usar una tarjeta de escenario recomendado: adecuado para necesidades de inspección comunes listas para usarse. En el área de tarjetas de escenarios recomendados, en la parte superior de la página de lista, haga clic en la tarjeta que desee utilizar. El sistema llena previamente el formulario de creación con la plantilla del escenario, lo que incluye el nombre de la tarea, la descripción, el contenido y la frecuencia de ejecución. Confirme o ajuste la configuración para completar la creación.
Create via Agent Chat: más indicado cuando desea describir las necesidades de inspección en lenguaje natural. En la página de lista de tareas, haga clic en Create Intelligent Inspection Task y seleccione Create via Agent Chat en el menú desplegable. En la ventana de chat del Data Agent, describa qué desea inspeccionar; por ejemplo, qué tareas de sincronización revisar y en qué métricas de ejecución enfocarse. El Data Agent le ayudará a generar y crear la tarea de inspección.
Create Manually: diseñado para escenarios donde necesita personalizar por completo el contenido de la inspección, la frecuencia de ejecución y el resource group. En la página de lista de tareas, haga clic en Create Intelligent Inspection Task y seleccione Create Manually en el menú desplegable. En el cuadro de diálogo Create Intelligent Inspection Task Manually, configure los parámetros descritos en la siguiente tabla y envíe la tarea.
|
Parámetro |
Obligatorio |
Descripción |
|
Task Name |
Sí |
Nombre de la tarea de inspección. Puede tener hasta 50 caracteres y debe cumplir con las reglas de nomenclatura de tareas. |
|
Description |
No |
Descripción de la tarea que facilita su identificación en la lista. |
|
Resource Group |
Sí |
Seleccione un resource group serverless para que el módulo de programación ejecute la tarea de inspección. |
|
Run Frequency |
Sí |
Ciclo de programación de la tarea. Valores válidos: Once, Hourly, Daily, Weekly, Monthly y Custom Cron Expression. Valor predeterminado: Daily at 08:00. |
|
Task Content |
Sí |
Describa el contenido de la inspección en lenguaje natural. El Data Agent analiza sintácticamente y ejecuta esta descripción en cada corrida. Ejemplo: Perform a health inspection on all sync tasks in the project. Check the task status, sync latency, and resource usage. |
Una vez creada la tarea, la página regresa automáticamente a la lista, donde podrá ver la nueva tarea.
Gestionar tareas de inspección inteligente
En la parte superior de la página de lista de tareas se muestran las tarjetas de escenarios recomendados con el mensaje Recommended scenario. Select to create quickly.. Debajo de las tarjetas se encuentra la lista que gestiona de forma centralizada todas las tareas de inspección creadas. Esta lista muestra la siguiente información y permite buscar por nombre, identificador o descripción de la tarea:
|
Columna |
Descripción |
|
Task Name / ID |
Nombre e identificador único de la tarea. Haga clic en un nombre para ir al historial de ejecución correspondiente. |
|
Auto Scheduling |
Estado de la programación automática. Valores válidos: Enabled y Disabled. |
|
Run Frequency |
Frecuencia de programación de la tarea, mostrada como una descripción legible. |
|
Description |
Descripción del propósito de la tarea. |
|
Resource Group |
Nombre del resource group que ejecuta la tarea. |
|
Modified Time |
Hora de la última modificación de la tarea. |
Para cada tarea se admiten las siguientes operaciones:
Enable Auto Scheduling / Disable Auto Scheduling: controla si la tarea se ejecuta periódicamente con la frecuencia configurada. No es posible habilitar la programación automática en una tarea sin frecuencia de ejecución. Primero debe ir a los detalles de la tarea y configurar dicha frecuencia.
Task Details: permite consultar y editar la información básica, la configuración de programación, los recursos de ejecución y el contenido de la tarea.
Run Records: muestra el historial de ejecuciones y el informe detallado de resultados de cada una.
-
El menú More contiene las siguientes operaciones:
Execute Now: desencadena de inmediato la ejecución de la tarea sin esperar al siguiente ciclo programado. Si el contenido incluye variables de parámetros de programación, debe especificar los valores de reemplazo para cada variable antes de ejecutarla.
Clone: crea una nueva tarea basada en la actual. Especifique un nombre para la nueva tarea.
Delete: elimina la tarea. Esta acción no se puede deshacer, proceda con precaución.
Consultar los detalles de una tarea
En la columna de acciones de la lista de tareas, haga clic en Task Details para ir a la página de detalles. Esta página consta de cuatro secciones:
Basic Information: muestra el nombre, el identificador, la hora de la última modificación y la descripción de la tarea. Estos campos se pueden editar.
Schedule Configuration: gestiona el interruptor de Auto Scheduling y la configuración de Run Frequency.
Runtime Resource: muestra el resource group que utiliza la tarea y permite cambiarlo.
Task Content: presenta el contenido que el Data Agent ejecuta en cada corrida. Puede editarlo manualmente de forma directa o hacer clic en AI Edit en la parte superior de la página para modificarlo mediante una conversación con el Data Agent. Esto le permite ajustar continuamente el alcance de la inspección conforme evoluciona su negocio.
Consultar los registros de ejecución
En la lista de tareas, haga clic en Run Records dentro de la columna de acciones para ir a la página de registros de ejecución. La página se divide en tres áreas. Al seleccionar un registro histórico, podrá consultar el resumen de ejecución y el informe detallado de resultados de esa corrida:
Run History: ubicada en el lado izquierdo de la página, esta área muestra el número total de ejecuciones y todos los registros de la tarea. Cada registro incluye el estado de ejecución (Running, Not Running, Failed y Completed), el método de activación (Manual Trigger o Scheduled Trigger), la duración, la hora de inicio y la hora de finalización (los registros con estado Not Running muestran el tiempo de ejecución estimado), el Run Instance ID y el Token Usage de la ejecución. Puede filtrar los registros por estado de ejecución.
Run Overview: situada en la parte superior derecha de la página, esta sección muestra el Run Instance ID, el Running Status, el Resource Group, la Start Time, la End Time, la Duration, el Trigger Method y el Token Usage del registro seleccionado. Aquí puede hacer clic en Run Log para consultar los registros de ejecución, o en View Full Conversation para ver el registro completo de la conversación del Data Agent durante esa corrida. Mientras la tarea se esté ejecutando, también puede hacer clic en Stop para finalizar la ejecución actual. Si una ejecución termina con errores, utilice los registros de ejecución y el registro completo de la conversación para identificar la causa.
Result Details Report: ubicada en la parte inferior derecha de la página, esta sección muestra el informe de inspección generado por la ejecución. Una vez que el servidor genera el informe, se previsualiza directamente en la página. Puede hacer clic en Open in New Tab para consultarlo en una nueva pestaña del navegador, o en Download para guardarlo localmente y compartirlo o archivarlo dentro de su equipo.
Contenido de un informe detallado de resultados
El contenido del informe varía según el escenario de inspección. A continuación se toma como ejemplo el escenario de inspección de estado y corrección de sincronización por lotes del día anterior. Un informe contiene las cuatro secciones siguientes:
Resumen y panorama del estado: muestra el número de instancias completadas dentro de la ventana estadística, la cantidad de éxitos y errores, así como las tasas correspondientes, acompañadas de un gráfico de proporciones. También enumera explícitamente el número de tareas que ingresaron a la lista de seguimiento y aún requieren acciones.
Diagnóstico de causa raíz por tarea: clasifica la causa raíz de cada tarea pendiente de revisión y distingue tipos como error nuevo, error persistente y línea base insuficiente. El estado de recuperación se determina con base en el estado terminal de la instancia más reciente, entre el cierre de la ventana estadística y la generación del informe. Los valores posibles incluyen: sigue con errores después de la ventana y requiere acción, se recuperó después de la ventana y no requiere acción, se volvió a ejecutar después de la ventana y está en observación, y falló sin ejecuciones posteriores y requiere confirmación.
Análisis de causas raíz comunes: identifica los errores que comparten la misma causa raíz. Por ejemplo, varias tareas pueden fallar simultáneamente debido a un problema en la misma tabla o en el mismo campo. En estos casos, priorice la comprobación de los elementos de configuración relacionados. Una vez corregido el problema, podrá volver a ejecutar las tareas afectadas en conjunto en lugar de solucionar cada una por separado.
Diagnóstico profundo de causa raíz y acciones recomendadas: para cada tarea con errores, proporciona la dirección de sincronización (por ejemplo, de MySQL a MaxCompute), el resource group, la hora del primer error y del más reciente, la distribución temporal de los errores, el estado del día anterior, el mensaje de error superficial, el análisis de la causa raíz y recomendaciones aplicables.
Monitoreo de operaciones y mantenimiento
El monitoreo de operaciones y mantenimiento está diseñado para responder a anomalías en canalizaciones de sincronización de datos en tiempo real y fuera de línea. Después de seleccionar un escenario de monitoreo y aplicarlo a las tareas, el sistema recopila automáticamente la información de ejecución, analiza las causas raíz y da seguimiento continuo al estado de recuperación de las tareas cuando se activan los eventos configurados en dicho escenario.
[Pendiente de confirmar: la ruta de acceso en la consola para el monitoreo de operaciones y mantenimiento (su ubicación específica en el panel de navegación izquierdo de Data Integration y si pertenece al mismo grupo AI Native que las tareas de inspección inteligente), así como los requisitos previos (si se requiere un resource group y si es necesaria una activación adicional).]
Relación entre escenarios y eventos
El monitoreo de operaciones y mantenimiento se gestiona por escenario, el cual consiste en un conjunto de eventos. El procedimiento de configuración es el siguiente:
Defina los tipos de tarea aplicables al escenario para determinar a qué tareas de sincronización se puede aplicar.
Configure varios eventos de monitoreo dentro del escenario y establezca los umbrales de activación para cada uno.
Aplique el escenario a tareas de sincronización específicas. Una vez aplicado, puede anular los umbrales de los eventos para tareas individuales y así ajustar con precisión el monitoreo de las tareas críticas.
[Pendiente de confirmar: los pasos detallados de operación en la interfaz y las descripciones de los elementos de configuración para crear un escenario de monitoreo personalizado, configurar umbrales de eventos, aplicar un escenario a las tareas y anular umbrales para tareas individuales.]
Escenarios de monitoreo integrados
El sistema proporciona los siguientes escenarios de monitoreo integrados que puede aplicar directamente a las tareas de sincronización de los tipos compatibles:
|
Escenario de monitoreo |
Tipo de tarea aplicable |
Evento de monitoreo |
Análisis automático tras la activación |
|
Monitoreo de latencia de sincronización en tiempo real |
Tareas de sincronización en tiempo real de base de datos completa y de tabla única |
La latencia de negocio supera continuamente el umbral |
Analiza automáticamente el origen, el enlace de sincronización y el destino para ubicar posibles cuellos de botella de rendimiento. |
|
Monitoreo de ejecución de sincronización en tiempo real |
Tareas de sincronización en tiempo real de base de datos completa y de tabla única |
Una tarea de sincronización en tiempo real falla u ocurren failovers frecuentes |
Analiza automáticamente la causa de la excepción. |
|
Monitoreo de ejecución de sincronización por lotes |
Tareas de sincronización por lotes de base de datos completa |
Una tarea de sincronización por lotes de base de datos completa falla o una instancia incremental por lotes falla |
Recopila automáticamente la información de ejecución y ofrece sugerencias de manejo. |
Sin importar qué evento coincida, el monitoreo de operaciones y mantenimiento continúa dando seguimiento al estado de recuperación de la tarea una vez concluido el análisis, hasta que esta se recupere.
Consultar los registros de monitoreo
Cada evento de monitoreo activado se registra como un registro de monitoreo, lo que conforma un libro de operaciones y mantenimiento trazable. Cada registro muestra la hora de activación, la tarea que coincidió con el evento, el evento específico detectado, la conclusión del análisis y si la tarea se recuperó. Esto facilita la revisión posterior al incidente y la asignación clara de responsabilidades.
[Pendiente de confirmar: los campos completos, los criterios de filtro y búsqueda de la lista de registros de monitoreo, y el formato de presentación de las conclusiones del análisis en los detalles del registro (si coinciden con los informes de inspección y si se admite abrirlos en una ventana nueva o descargarlos).]
Recomendaciones para seleccionar escenarios
Seleccione un escenario de inspección según sus necesidades de operaciones y mantenimiento. Para las canalizaciones que requieren respuesta inmediata ante una excepción, configure adicionalmente un escenario de monitoreo correspondiente:
|
Necesidad de operaciones y mantenimiento |
Escenario de inspección recomendado |
Escenario de monitoreo recomendado |
|
Proteger las canalizaciones de almacenamiento de datos en tiempo real durante periodos pico, como promociones importantes. La latencia en los datos de pedidos, pagos y logística afecta directamente los paneles en tiempo real y la toma de decisiones operativas. |
Inspección de latencia de sincronización en tiempo real |
Monitoreo de latencia de sincronización en tiempo real, monitoreo de ejecución de sincronización en tiempo real |
|
Contar con una lista lista para usar de tareas con errores, tareas recuperadas y tareas pendientes de atención al iniciar la jornada laboral, justo después de que el proceso nocturno por lotes finalice de madrugada. |
Inspección de estado y corrección de sincronización por lotes del día anterior |
Monitoreo de ejecución de sincronización por lotes |
|
Varias tareas comparten el mismo conjunto de orígenes de datos. Un cambio de contraseña de base de datos, una inestabilidad de red o un ajuste de permisos puede provocar que un lote de tareas falle simultáneamente. Es necesario determinar si las excepciones provienen del mismo origen de datos. |
Inspección de excepciones de tareas por origen de datos |
Ninguna |
|
Cambios accidentales en condiciones de filtro, campos eliminados u otras modificaciones de configuración pueden hacer que las tareas devuelvan resultados vacíos o fallen. Se deben detectar estos problemas antes de que afecten a las tareas descendentes. |
Inspección de anomalías en el volumen de datos de sincronización por lotes del día anterior, inspección de fluctuaciones de ejecución de sincronización por lotes |
Ninguna |
|
Las tareas de sincronización en tiempo real consumen recursos de CU y memoria de forma continua. Una tasa de uso excesivamente alta puede alcanzar los límites de capacidad y afectar la estabilidad de la tarea, mientras que una tasa muy baja indica desperdicio de recursos. Se requieren datos para respaldar las decisiones de expansión de capacidad y optimización de costos. |
Inspección de uso de recursos del espacio de trabajo en sincronización en tiempo real |
Ninguna |
Facturación
Las tareas de inspección inteligente y el monitoreo de operaciones y mantenimiento funcionan con el Data Agent, el cual llama a un modelo de lenguaje grande para ejecutar el análisis. El modelo utilizado actualmente es DeepSeek-v4-flash, y la facturación se basa en el uso de tokens. Para conocer los detalles de precios, consulte Model inference pricing. Los niveles de consumo típicos son los siguientes:
|
Función |
Unidad de medida |
Consumo de tokens |
Costo aproximado |
|
Tarea de inspección inteligente |
Una ejecución de una sola tarea de inspección |
Aproximadamente 500,000 tokens |
Aproximadamente 1 CNY |
|
Monitoreo de operaciones y mantenimiento |
Un día en el que se activa un solo escenario de monitoreo |
Aproximadamente 100,000,000 tokens |
Aproximadamente 100 CNY |
El consumo de tokens y los costos indicados anteriormente son estimaciones para escenarios típicos. El consumo real varía según la complejidad del contenido de inspección, la cantidad de tareas y la frecuencia de activación de los eventos. Los costos están sujetos al importe facturado realmente.
Cada ejecución de una tarea de inspección muestra su consumo real de tokens en los registros de ejecución, lo que le permite comprobar el uso.