DataWorks:Data Integration Agent

Descripción

DI Agent le permite crear y gestionar cuatro tipos de tareas de sincronización mediante lenguaje natural: por lotes de tabla única, en tiempo real de tabla única, por lotes de base de datos completa y en tiempo real de base de datos completa. En lugar de llenar los campos del formulario uno por uno para los orígenes de datos, los mapeos de campos y las políticas de programación, solo necesita describir sus requisitos de sincronización. El agente completará todo el proceso, desde la comprensión de la intención hasta el despliegue. Sus funciones clave incluyen:

• Creación de tareas en lenguaje natural: describa sus requisitos de sincronización en una sola oración (por ejemplo, "Sincroniza toda la base de datos de pedidos de RDS a Hologres en tiempo real, con particiones diarias"). El agente completará automáticamente la identificación del origen de datos, la detección del esquema, el mapeo de campos, la asignación del resource group y la configuración de la política de programación.

• Comprensión de intenciones y conversaciones de varios turnos: el agente comprende descripciones de requisitos vagas o incompletas. Formula preguntas de seguimiento para completar parámetros clave (como la estrategia de particionamiento y las condiciones incrementales), lo que garantiza que la configuración de la tarea generada sea precisa y utilizable.

• Gestión del ciclo de vida completo de la tarea: edite, pause, reanude, elimine y vuelva a ejecutar tareas mediante conversación. Esto cubre el ciclo de vida completo, desde la creación hasta la eliminación definitiva de la tarea.

• Operaciones masivas de tareas: cree o modifique varias tareas de sincronización en una sola conversación. Esta función resulta ideal para escenarios como la migración de bases de datos completas o los ajustes masivos de políticas de programación.

Ejemplo

A continuación se muestra cómo crear una tarea de sincronización mediante conversación:

1. Vaya a la interfaz de conversación de DI Agent.

2. Introduzca sus requisitos de sincronización. Por ejemplo: "Sincroniza toda la base de datos de pedidos de RDS a Hologres en tiempo real, con particiones diarias".

3. El agente detecta automáticamente el esquema de origen y muestra la lista de tablas por sincronizar. Continúe después de confirmar.

4. El agente completa automáticamente el mapeo de campos, la asignación del resource group y la configuración de la política de programación.

5. Consulte el resumen de la configuración de la tarea y despliéguela tras comprobar que todo sea correcto.

6. Revise el estado de ejecución de la tarea y compruebe que los datos se sincronicen correctamente.

Descripción

DI Agent le permite incorporar la inference de modelos de lenguaje grandes como un operador ETL en las canalizaciones de datos. Así podrá procesar por lotes con IA datos estructurados y no estructurados (imágenes, videos, archivos de audio, documentos, entre otros) provenientes de cualquier origen. Las operaciones de procesamiento incluyen reconocimiento, clasificación y etiquetado, transcripción, traducción, resumen, vectorización y lógica de procesamiento personalizada. Los resultados se escriben directamente en cualquier destino compatible con la integración de datos (como MaxCompute, Hologres o Data Lake Formation (DLF)). Esto permite que todo tipo de datos ingrese al sistema de activos de datos empresariales en el formato adecuado. Sus funciones clave incluyen:

• Definición de lógica de procesamiento en lenguaje natural: describa su intención de procesamiento en lenguaje natural (por ejemplo, "Identifica las categorías de productos en las imágenes y genera etiquetas"). El agente generará automáticamente la configuración correspondiente de la canalización de procesamiento.

• Orquestación de canalizaciones en tres etapas: el agente orquesta automáticamente una canalización Source → Transform (inference del modelo grande) → Sink. No requiere escribir scripts ni configurar servicios de inference.

• Escritura directa de resultados en diversos destinos: por ejemplo, los resultados del procesamiento se escriben directamente en lagos de datos de MaxCompute, Hologres o DLF sin transferencias adicionales de datos.

• Embedding de datos: vectorice los datos procesados y escríbalos en un destino de almacenamiento específico para su uso posterior con RAG.

• Ejecución por lotes y periódica: admite el procesamiento por lotes de millones de archivos. También se configura para ejecuciones periódicas programadas que procesen continuamente datos incrementales.

Ejemplo

A continuación se muestra cómo procesar imágenes de productos en OSS y escribir los resultados en MaxCompute:

1. Vaya al punto de entrada de procesamiento de datos con IA.

2. Introduzca sus requisitos de procesamiento. Por ejemplo: "Lee imágenes de productos de un bucket de AWS S3 → Llama a un modelo grande para identificar etiquetas de clasificación → Escribe los resultados en una tabla de MySQL".

3. El agente orquesta automáticamente una canalización de tres etapas: Source (S3) → Transform (inference del modelo grande) → Sink (MySQL).

4. ChatDB identifica automáticamente la tabla de destino y genera la instrucción SQL correspondiente.

5. Consulte los gráficos devueltos (los gráficos de líneas, de barras y otros tipos se seleccionan automáticamente).

6. Si necesita vectorizar datos de una base de datos de ingeniería de características hacia Hologres para usarlos con RAG, defina el embedding en lenguaje natural: "Continúa con el embedding → Llama a un modelo grande para vectorizar → Escribe los resultados en una tabla de Hologres".

7. El agente orquesta automáticamente una canalización de tres etapas: Source (MySQL) → Transform (vectorización con modelo grande) → Sink (Hologres).

8. ChatDB identifica automáticamente la tabla de destino y genera la instrucción SQL correspondiente.

9. Consulte los resultados devueltos.

Consultar esquemas de orígenes de datos y semántica de negocio

ChatDB le permite explorar metadatos de bases de datos e interpretar la semántica de negocio mediante lenguaje natural. Después de especificar un origen de datos de destino, el agente se conecta automáticamente y profundiza en la estructura completa de bases de datos, tablas y campos. Esto incluye nombres de tablas, tipos de campos, relaciones de claves primarias y foráneas, restricciones de índice y otros detalles de metadatos. El agente también interpreta la semántica de negocio de las bases de datos y tablas basándose en los nombres de las tablas, las convenciones de nomenclatura de campos y las características de los datos. Así le ayuda a comprender rápidamente el propósito de cada tabla, los conceptos de negocio que representan los campos y las relaciones entre tablas.

Casos de uso: comprender rápidamente el panorama completo de datos al asumir la responsabilidad de un sistema desconocido, y ayudar a miembros no técnicos del equipo a entender las estructuras de datos durante la colaboración entre equipos.

Vista previa de datos de muestra del origen de datos

ChatDB le permite ver datos de muestra de cualquier tabla mediante lenguaje natural. Después de especificar una tabla de destino, el agente recupera automáticamente muestras de datos representativas con explicaciones. De este modo, podrá confirmar visualmente el contenido y el formato de los datos almacenados en la tabla sin escribir SQL.

Casos de uso: verificar rápidamente el contenido de los datos y comprender los valores reales de los campos, además de ayudar a miembros no técnicos del equipo a entender la semántica de los datos durante la colaboración entre equipos.

Análisis estadístico con visualización de gráficos

ChatDB admite el análisis y la visualización de datos impulsados por lenguaje natural. Describa su intención de análisis (como "muestra las tendencias de ventas por categoría en los últimos tres meses" o "compara las proporciones de pedidos entre regiones"). El agente ubicará automáticamente el origen de datos, generará la lógica de consulta y presentará los resultados de análisis como gráficos de líneas, de barras, circulares u otros tipos. No requiere SQL ni herramientas de visualización especializadas.

Casos de uso: equipos de negocio que validan rápidamente hipótesis operativas, y equipos técnicos que obtienen datos de tendencias sobre la marcha durante la resolución de problemas.

Diagnóstico de esquemas y recomendaciones de optimización

ChatDB admite diagnósticos inteligentes de esquemas de bases de datos y tablas para un origen de datos específico. El agente escanea automáticamente los diseños de esquema de tabla de la base de datos de destino y los revisa en múltiples dimensiones. Estas incluyen convenciones de nomenclatura, selección de tipos de campos, cobertura de índices, integridad de claves primarias y foráneas, campos redundantes y estrategias de particionamiento. Identifica posibles defectos de diseño y proporciona recomendaciones de optimización específicas junto con direcciones de mejora.

Casos de uso: revisiones de diseño para bases de datos y tablas recién creadas, evaluaciones de deuda técnica en sistemas existentes y análisis de causa raíz para problemas de rendimiento de bases de datos.

Resolución de problemas y optimización del rendimiento de bases de datos

ChatDB admite diagnósticos de rendimiento de bases de datos y análisis de causa raíz de consultas SQL lentas. Después de describir un problema de rendimiento o especificar un origen de datos de destino, el agente analiza automáticamente los factores que causan consultas lentas. Estos incluyen escaneos completos de tablas, invalidación de índices, orden JOIN subóptimo, subconsultas profundamente anidadas, conversiones implícitas de tipos de datos, estadísticas obsoletas, contención de bloqueos y tablas saturadas. Explica la causa raíz de cada instrucción SQL lenta basándose en el plan de ejecución real. Además, proporciona recomendaciones de optimización específicas, como ajustes de índices, reescrituras de consultas y refactorización de esquemas de tablas.

Casos de uso: resolución de emergencias ante incidentes repentinos de rendimiento en producción, y gestión proactiva de posibles consultas lentas durante inspecciones rutinarias.

Descripción

Cuando reciba una alerta de tarea de sincronización, describa el problema o pegue la información de la alerta en la interfaz de conversación del agente. Este agregará automáticamente información multidimensional, como registros de tareas, métricas de monitoreo de recursos y el estado de la base de datos de origen. Luego identificará la causa raíz y proporcionará un plan de solución, lo que reduce el tiempo de resolución de horas a minutos. Cada resultado de diagnóstico se archiva automáticamente como una entrada en la base de conocimiento. Así, cuando ocurra un problema similar, se aplicará directamente la solución existente y se evitará que los equipos comiencen desde cero ante cambios de personal. Sus funciones clave incluyen:

• Agregación de información multidimensional: recopila y correlaciona automáticamente registros de tareas, métricas de monitoreo de recursos, estado de la base de datos de origen, ancho de banda de red y otra información multidimensional. Presenta el contexto completo en una sola vista.

• Identificación de la causa raíz: analiza automáticamente la causa raíz con base en la información agregada (como CU insuficientes, bloqueos de tablas en el origen, cuellos de botella de ancho de banda de red o errores de configuración) y ofrece una conclusión clara.

• Recomendaciones de solución con ejecución en un clic: tras identificar la causa raíz, el agente proporciona sugerencias prácticas de solución (como escalar los resource groups, reiniciar instancias o ajustar la concurrencia). Una vez confirmadas, ejecute la corrección con un solo clic.

• Acumulación automática de conocimiento: cada resultado de diagnóstico se archiva automáticamente como una entrada en la base de conocimiento. La próxima vez que ocurra un problema similar, se aplicará directamente la solución existente.

Ejemplo

1. Una vez que se active una alerta, abra la interfaz de conversación del agente y describa el problema o pegue la información de la alerta.

2. El agente agrega automáticamente información multidimensional, como registros de tareas, métricas de monitoreo de recursos y el estado del lado de origen.

3. El agente genera un informe de análisis de causa raíz (por ejemplo: CU insuficientes que provocan que la tasa de consumo caiga por debajo de la tasa de producción).

4. El agente proporciona recomendaciones de solución (por ejemplo: aumentar la cuota de CU del resource group o reiniciar las instancias con errores). Tras su confirmación, se ejecuta la corrección.

Descripción

DI Agent proporciona tareas de inspección inteligente automatizadas que el agente de IA crea y gestiona. No necesita escribir scripts de monitoreo ni configurar reglas de alerta. Después de crear una tarea de inspección y habilitar la programación automática, el agente inspecciona proactivamente el estado de ejecución de las tareas de sincronización con la frecuencia configurada. Además, genera un informe detallado de resultados tras cada ejecución, lo que cambia el modelo de O&M de una respuesta reactiva a una gobernanza proactiva. Sus funciones clave incluyen:

• Frecuencia de ejecución configurable: la frecuencia se configura mediante expresiones Cron. Admite programaciones únicas, por hora, diarias, semanales, mensuales y Cron personalizadas. El valor predeterminado es todos los días a las 08:00. Establezca la frecuencia de ejecución antes de habilitar la programación automática.

• Escaneo proactivo de toda la canalización: el agente escanea automáticamente el estado de ejecución de todas las canalizaciones de sincronización de forma periódica. Identifica proactivamente riesgos potenciales sin necesidad de revisiones manuales elemento por elemento.

• Informes de resultados detallados: después de cada inspección se genera un informe detallado de resultados. Consulte el informe en el historial de ejecución de la tarea. Los informes se abren en una ventana nueva o se descargan para compartirlos y archivarlos con el equipo.

• Clasificación por prioridad y recomendaciones de acción: las tareas de alto riesgo se clasifican según el alcance del impacto y la urgencia. Cada elemento incluye recomendaciones de acción específicas y evaluaciones de ventajas esperadas.

Ejemplo

1. Inicie sesión en la consola de Data Integration. En el panel de navegación izquierdo, haga clic en Intelligent Inspection Tasks dentro de AI Native.

2. Cree una tarea de inspección. Haga clic en Create Intelligent Inspection Task y seleccione Create via Agent Chat o Create Manually en el menú desplegable. Como alternativa, haga clic en una tarjeta de escenario recomendado en la parte superior de la página para crear rápidamente una tarea a partir de una plantilla de escenario integrada. Para crear una tarea manualmente, especifique el nombre de la tarea, la descripción, el resource group, la frecuencia de ejecución y el contenido de la tarea (describa el contenido de la inspección en lenguaje natural).

3. Después de activar Auto Scheduling, el agente ejecutará automáticamente las inspecciones con la frecuencia especificada. También desencadene manualmente una inspección única si selecciona More > Execute Now en la lista de tareas.

4. En la página de historial de ejecución de una tarea, consulte el estado y el Result Details Report de cada ejecución. Los informes admiten las opciones Open in New Tab y Download.

Descripción

Las inspecciones resuelven las revisiones periódicas de estado, mientras que la capacidad de supervisión aborda las respuestas en tiempo real justo cuando ocurre una excepción. Esta función utiliza escenarios como unidades de gestión, donde un escenario es un conjunto de eventos. Primero defina los tipos de tareas a los que aplica el escenario y luego configure los eventos de monitoreo y sus umbrales de activación dentro de él. Después de aplicar el escenario a tareas específicas, anule los umbrales de manera individual por tarea. Cuando una tarea coincide con un evento, el agente recopila automáticamente la información de ejecución, analiza la causa raíz y rastrea continuamente el estado de recuperación de la tarea. Sus funciones clave incluyen:

• Escenarios de supervisión integrados: se proporcionan tres escenarios integrados: supervisión de latencia de sincronización en tiempo real, supervisión de ejecución de sincronización en tiempo real y supervisión de ejecución de sincronización por lotes. Aplique directamente estos escenarios a las tareas de sincronización de los tipos correspondientes.

• Gestión de umbrales por evento: un escenario contiene varios eventos de monitoreo, cada uno con un umbral de activación configurado de forma independiente. Después de aplicar un escenario a las tareas, anule los umbrales de tareas individuales para ajustar con precisión el monitoreo de las tareas críticas.

• Análisis basado en activadores: cuando la latencia de negocio supera continuamente el umbral, el agente analiza automáticamente el origen, la canalización de sincronización y el destino para identificar posibles cuellos de botella de rendimiento. Si una tarea falla o experimenta conmutaciones por error frecuentes, el agente analiza automáticamente la causa raíz. Cuando falla una tarea de sincronización por lotes o una instancia incremental por lotes, el agente recopila automáticamente la información de ejecución y proporciona sugerencias de solución.

• Seguimiento de recuperación y registros de supervisión: tras completar el análisis, el agente rastrea continuamente el estado de recuperación de la tarea. Cada evento activado se registra como una entrada de supervisión que muestra la hora de activación, las tareas que coincidieron con el evento, los eventos específicos coincidentes, la conclusión del análisis y si la tarea se recuperó. Esto forma un libro mayor de O&M trazable.