La función de extracción, transformación y carga (ETL) en Data Transmission Service (DTS) le permite crear pipelines de procesamiento de streaming en tiempo real sin desarrollar una infraestructura personalizada. Esta función se integra con la replicación de datos de DTS para gestionar la extracción desde las bases de datos de origen, la lógica de transformación y la carga en los sistemas de destino, todo en una sola tarea. ETL mejora la eficiencia, reduce el umbral de desarrollo y minimiza el impacto en los sistemas empresariales.
Las tareas ETL admiten dos modos de creación:
Modo DAG: lienzo de arrastrar y soltar con tres componentes integrados: Input/Dimension Table, Transform y Output.
Modo Flink SQL: escritura directa de sentencias Flink SQL; compatible con la sintaxis estándar de SQL.
Cuándo usar cada modo
|
Modo DAG |
Modo Flink SQL |
|
|
Más adecuado para |
Equipos que prefieren pipelines visuales o desean evitar escribir SQL |
Equipos con experiencia en SQL que requieren lógica personalizada |
|
Creación |
Componentes de arrastrar y soltar |
Escritura de sentencias Flink SQL |
|
Flexibilidad de transformación |
Más de 90 escenarios de function compute integrados |
Expresividad completa de Flink SQL |
Bases de datos compatibles
|
Componente |
Bases de datos compatibles |
|
Input/Dimension Table (origen) |
MySQL autogestionado, ApsaraDB RDS for MySQL, PolarDB for MySQL, PolarDB-X 1.0 (anteriormente DRDS), Oracle autogestionado, PostgreSQL autogestionado, ApsaraDB RDS for PostgreSQL, Db2 for LUW, Db2 for i, PolarDB for PostgreSQL |
|
Output (destino) |
MySQL autogestionado, ApsaraDB RDS for MySQL, PolarDB for MySQL, AnalyticDB for MySQL V3.0, Oracle autogestionado, PostgreSQL autogestionado, ApsaraDB RDS for PostgreSQL, Db2 for LUW, Db2 for i, PolarDB for PostgreSQL |
Capacidades de transformación
El componente Transform admite tres tipos de operaciones:
|
Operación |
Descripción |
|
Join |
Combina filas de varias tablas de origen o tablas de dimensiones |
|
Function compute |
Aplica transformaciones en más de 90 escenarios de cómputo integrados |
|
Filter |
Selecciona o descarta campos antes de cargarlos en el destino |
Beneficios clave
Eficacia de cómputo líder en la industria: la función ETL se integra con las capacidades de recopilación de datos de DTS, lo que garantiza la precisión de los datos y una eficacia de cómputo líder en la industria.
Monitoreo y gestión flexible de tareas: supervise y gestione las tareas ETL directamente en la consola de DTS. Inicie, detenga y consulte los detalles de las tareas según sea necesario.
Casos de uso
Consolidación de datos de fuentes heterogéneas: extraiga datos de bases de datos de distintos tipos o regiones hacia un único destino en tiempo real para habilitar la generación centralizada de reportes y operaciones.
Integración de datos low-code: construya pipelines de integración de datos mediante una interfaz visual en lugar de código personalizado, lo que reduce tanto el tiempo de desarrollo como la complejidad operativa.
Almacén de datos en tiempo real: envíe datos preprocesados directamente a los almacenes de datos conforme ocurren los eventos, en lugar de esperar a cargas por lotes programadas.
Aceleración de almacenes de datos offline: preprocese los datos de streaming antes de que lleguen al almacén de datos. Esto permite que el almacén atienda consultas sin verse afectado por la ingesta de datos sin procesar.
Reportes en tiempo real: alimente dashboards y sistemas de reportes a partir de un flujo de datos actualizado continuamente, ideal para escenarios como monitoreo de operaciones y análisis empresarial.
Cómputo en tiempo real: limpie y enriquezca los datos de streaming para extraer valores de características y etiquetas. Los escenarios típicos incluyen perfiles de usuario, control de riesgos y sistemas de recomendación.
Facturación
La función ETL se encuentra actualmente en vista previa pública. Cada cuenta puede crear hasta dos instancias ETL sin costo durante este periodo.
Cuando finalice la vista previa pública, se cobrarán las instancias en ejecución. Alibaba Cloud notificará a los usuarios con antelación mediante anuncios y mensajes SMS.