DataWorks:Origen de datos MySQL

Parámetro

Descripción

Data Source Name

El nombre del origen de datos debe ser único dentro del espacio de trabajo. Se recomienda utilizar un nombre que identifique claramente el negocio y el entorno; por ejemplo, rds_mysql_order_dev.

Connection Mode

Seleccione el modo de instancia de Alibaba Cloud. Para obtener más información sobre los modos de conexión, consulte Scenario 1: Instance Mode (Current Cloud Account) y Scenario 2: Instance Mode (Other Cloud Account).

Alibaba Cloud Account

Seleccione la cuenta en la nube a la que pertenece la instancia. Si selecciona Another Alibaba Cloud Account, debe configurar permisos entre cuentas. Para obtener más información, consulte Cross-Account Authorization (RDS, Hive, or Kafka).

Si selecciona otra cuenta en la nube, proporcione la siguiente información:

• ID de la cuenta principal: El ID de la cuenta principal propietaria de la instancia.

• Nombre del rol de RAM: El rol de RAM proporcionado por la otra cuenta en la nube. Este rol debe tener los permisos necesarios para acceder a la instancia de destino.

Region

La región de la instancia.

Instance

Seleccione el nombre de la instancia a la que desea conectarse.

Standby library settings

Si su instancia de RDS tiene una read-only instance (instancia en espera), puede configurar tareas para leer datos desde ella. Esto evita que las operaciones de lectura afecten el rendimiento de la instancia principal.

Instance Address

Después de seleccionar la instancia correcta, haga clic en Get Latest Address para consultar información como su dirección pública/privada, VPC y vSwitch.

Database

El nombre de la base de datos a la que se conecta el origen de datos. Asegúrese de que el usuario especificado tenga los permisos necesarios para acceder a esta base de datos.

Corresponding access identity

Seleccione el origen de credenciales que utiliza DataWorks para acceder a MySQL. Se admiten las siguientes opciones:

• Nombre de usuario y contraseña: Introduzca el nombre de usuario y la contraseña de la base de datos MySQL. DataWorks los almacena mediante cifrado simétrico. Si utiliza una instancia de RDS, puede crearlos y gestionarlos en la sección account management de la instancia.

• Key Management Service: Utilice un secreto genérico alojado en Alibaba Cloud Key Management Service (KMS). Primero debe crear un secreto genérico en KMS. Para obtener más información, consulte Manage and use generic secrets. Luego, en el origen de datos, seleccione la Kms Region donde reside el secreto genérico de KMS y seleccione el secreto genérico de destino en la KMS List. El contenido de un secreto genérico de KMS admite los siguientes dos formatos JSON:

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Nota

  Después de modificar el contenido de un secreto genérico de KMS, DataWorks almacena el secreto en caché durante un máximo de 5 minutos. El nuevo secreto entra en vigor en un plazo máximo de 5 minutos.

Support OSS binlog reading

Si se habilita, DataWorks intenta obtener los registros binlog de OSS cuando los registros binlog de RDS no son accesibles. Esto evita interrupciones en las tareas de sincronización en tiempo real. Para obtener más información, consulte Configure authorization for reading OSS binlogs. Según su configuración de autorización, establezca la OSS binlog access identity.

Authentication Method

Seleccione sin autenticación o autenticación SSL. Si selecciona autenticación SSL, asegúrese de que también esté habilitada en la instancia. Prepare el archivo de certificado y cárguelo en Authentication File Management.

Version

Inicie sesión en el servidor MySQL y ejecute la consulta SELECT VERSION() para comprobar el número de versión.

Parámetro

Descripción

Data Source Name

El nombre del origen de datos debe ser único dentro del espacio de trabajo. Se recomienda utilizar un nombre que identifique claramente el negocio y el entorno; por ejemplo, rds_mysql_order_dev.

Connection Mode

Seleccione User-created Data Store with Public IP Addresses. En este modo, se utiliza una URL JDBC para conectarse a la base de datos.

Connection string preview

Después de introducir la dirección de conexión y el nombre de la base de datos, DataWorks genera automáticamente una vista previa de la URL JDBC.

Connection Address

Dirección del host: Introduzca la dirección de acceso real del servidor de base de datos. Asegúrese de que la dirección sea accesible por red desde el resource group de DataWorks. Los escenarios comunes incluyen:

• Acceso dentro de la misma VPC: Introduzca la dirección IP interna (privada).

• Acceso a través de Internet o mediante una puerta de enlace NAT: Introduzca la dirección IP pública o las direcciones IP NAT.

Si la base de datos es una instancia de RDS de Alibaba Cloud, puede encontrar la dirección en la página Database Connection de los detalles de la instancia.

Número de puerto: El puerto de la base de datos. El valor predeterminado es 3306.

Database Name

El nombre de la base de datos a la que se conecta el origen de datos. Asegúrese de que el usuario especificado tenga los permisos necesarios para acceder a esta base de datos.

Corresponding access identity

Seleccione el origen de credenciales que utiliza DataWorks para acceder a MySQL. Se admiten las siguientes opciones:

• Nombre de usuario y contraseña: Introduzca el nombre de usuario y la contraseña de la base de datos MySQL. DataWorks los almacena mediante cifrado simétrico. Si utiliza una instancia de RDS, puede crearlos y gestionarlos en la sección account management de la instancia.

• Key Management Service: Utilice un secreto genérico alojado en Alibaba Cloud Key Management Service (KMS). Primero debe crear un secreto genérico en KMS. Para obtener más información, consulte Manage and use generic secrets. Luego, en el origen de datos, seleccione la Kms Region donde reside el secreto genérico de KMS y seleccione el secreto genérico de destino en la KMS List. El contenido de un secreto genérico de KMS admite los siguientes dos formatos JSON:

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Nota

  Después de modificar el contenido de un secreto genérico de KMS, DataWorks almacena el secreto en caché durante un máximo de 5 minutos. El nuevo secreto entra en vigor en un plazo máximo de 5 minutos.

Version

Inicie sesión en el servidor MySQL y ejecute la consulta SELECT VERSION() para comprobar el número de versión.

Authentication Method

Seleccione sin autenticación o autenticación SSL. Si selecciona autenticación SSL, asegúrese de que también esté habilitada en la instancia. Prepare el archivo de certificado y cárguelo en Authentication File Management.

Advanced Parameters

Parámetro: Seleccione un parámetro compatible en la lista desplegable; por ejemplo, connectTimeout.

Valor: Introduzca un valor adecuado para el parámetro seleccionado; por ejemplo, 3000.

La URL JDBC se actualiza automáticamente a: jdbc:mysql://192.168.90.28:3306/test?connectTimeout=3000.

Por ejemplo, si encuentra errores relacionados con la zona horaria o necesita especificar una, haga clic en Add Property, seleccione serverTimezone como parámetro e introduzca la zona horaria de destino, como Asia/Shanghai. Guarde la configuración del origen de datos y vuelva a ejecutar la tarea.

Parámetro

Descripción

Obligatorio

Predeterminado

datasource

El nombre del origen de datos desde el cual leer. Debe coincidir con un origen de datos configurado en el editor de código.

Sí

Ninguna

table

El nombre de la tabla de origen que se va a sincronizar. Una tarea de Data Integration solo puede leer datos de una tabla lógica.

Sí

Ninguna

column

Una matriz JSON que especifica las columnas que se van a leer de la tabla de origen. Para seleccionar todas las columnas, utilice ["*"].

• Reducción de columnas: Puede exportar un subconjunto de columnas.

• Reordenamiento de columnas: Puede exportar columnas en un orden diferente al del esquema de la tabla.

• Valores constantes: Puede configurar valores constantes. Los valores deben seguir la sintaxis SQL de MySQL. Ejemplo: ["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2.3",true].

  • id es un nombre de columna regular.

  • table es un nombre de columna que es una palabra clave reservada.

  • 1 es una constante entera.

  • 'mingya.wmy' es una constante de cadena. Debe encerrarse entre comillas simples.

  • Manejo de valores null:

    • " " representa una cadena que contiene un solo espacio.

    • null representa un valor NULL.

    • 'null' representa la cadena literal "null".

  • to_char(a+1) es una función de conversión de cadenas.

  • 2.3 es un número de punto flotante.

  • true es un valor booleano.

• Debe especificar explícitamente las columnas en el parámetro column. No puede estar vacío.

Sí

Ninguna

splitPk

Cuando MySQL Reader extrae datos, especificar el parámetro splitPk habilita la fragmentación de datos en el campo especificado. Data Integration lanza entonces tareas concurrentes para mejorar la eficiencia de la sincronización.

• Para obtener el mejor rendimiento, utilice la clave principal de la tabla como splitPk.

• Actualmente, splitPk admite la división de datos solo para tipos enteros. No admite otros tipos como cadenas, punto flotante o fechas. Si especifica un tipo de dato no compatible, la función splitPk se ignora y se utiliza un solo canal para la sincronización.

• Si no se especifica splitPk o su valor está vacío, la tabla se sincroniza a través de un solo canal.

No

Ninguna

splitFactor

El factor de fragmentación. Este parámetro controla cuántos fragmentos se crean. Si se habilita la concurrencia, los datos se dividen en concurrencia × splitFactor fragmentos. Por ejemplo, si la concurrencia es 5 y splitFactor es 5, los datos se dividen en 25 fragmentos que son procesados por 5 hilos concurrentes.

No

5

where

Una condición de filtro. En un escenario típico, para sincronizar solo los datos del día actual, puede establecer la condición where en gmt_create > $bizdate.

• La cláusula where le permite realizar eficazmente una sincronización incremental. Si no especifica la instrucción where, incluyendo no proporcionar una clave o valor para where, la sincronización de datos se trata como una sincronización completa de datos.

• No utilice cláusulas como LIMIT 10, ya que no son válidas en una cláusula WHERE de MySQL.

No

Ninguna

querySql (Disponible solo en el editor de código; no compatible con la interfaz de usuario sin código.)

En algunos casos de uso, el parámetro where es insuficiente para el filtrado requerido. Utilice este parámetro para definir una consulta SQL personalizada. Cuando se configura, el sistema ignora los parámetros tables, columns y splitPk, y utiliza esta consulta directamente. Por ejemplo, para sincronizar datos de una unión de varias tablas, utilice select a,b from table_a join table_b on table_a.id = table_b.id. El parámetro querySql tiene prioridad sobre table, column, where y splitPk. El datasource se utiliza para analizar información como el nombre de usuario y la contraseña.

No

Ninguna

useSpecialSecret

Especifica si se debe utilizar la contraseña individual de cada origen de datos cuando hay configurados varios orígenes de datos. Valores válidos:

• true

• false

Si varios orígenes de datos tienen diferentes nombres de usuario y contraseñas, establezca este parámetro en true para utilizar las credenciales de cada origen de datos respectivo.

No

false

Parámetro

Descripción

Obligatorio

Predeterminado

datasource

Nombre del origen de datos de destino. Debe coincidir con un origen de datos configurado en el editor de código.

Sí

Ninguna

table

Nombre de la tabla de destino.

Sí

Ninguna

writeMode

Modo de escritura. Las opciones compatibles corresponden a las instrucciones de MySQL INSERT INTO, ON DUPLICATE KEY UPDATE y REPLACE INTO:

• insert: Si ocurre un conflicto de clave primaria o índice único, la tarea no escribe las filas en conflicto y las registra como datos sucios.

  Si configura la tarea en modo script, establezca writeMode en insert.

• on duplicate key update: Si no hay conflicto de clave primaria o índice único, la instrucción se comporta igual que insert into. Si ocurre un conflicto, la instrucción actualiza los valores de los campos especificados con los valores de la nueva fila y escribe los datos en MySQL.

  Si configura la tarea en modo script, establezca writeMode en update.

• replace into: Cuando no hay conflicto de clave primaria o índice único, se comporta igual que insert into. Si ocurre un conflicto, primero elimina la fila original y luego inserta la nueva. Esto significa que la nueva fila reemplaza todos los campos de la fila original.

  Si configura la tarea en modo script, establezca writeMode en replace.

No

insert

nullMode

Especifica la política para manejar valores NULL del origen. Valores válidos:

• writeNull: Si un campo de origen es NULL, se escribe un valor NULL en el campo de destino.

• skipNull: Si un campo de origen es NULL, el campo de destino se omite en la operación de escritura, lo que permite aplicar el valor predeterminado de la base de datos. Si no se define ningún valor predeterminado, el resultado suele ser NULL. Debe especificar las columnas aplicables en el parámetro skipNullColumn.

No

writeNull

skipNullColumn

Cuando nullMode se establece en skipNull, las columnas especificadas por este parámetro no se fuerzan a NULL. En su lugar, se utilizan sus respectivos valores predeterminados si están disponibles.

Formato: ["c1","c2",...]. Las columnas especificadas, como c1 y c2, deben ser un subconjunto de las columnas definidas en el parámetro column.

No

Todas las columnas configuradas para la tarea.

column

Las columnas de destino donde se escribirá, especificadas como un arreglo JSON de cadenas. Ejemplo: "column":["id","name","age"]. Para escribir en todas las columnas según su orden en el esquema, use un asterisco (). Ejemplo: "column":[""].

Sí

Ninguna

preSql

Una o más instrucciones SQL para ejecutar antes de que comience la tarea de sincronización. La interfaz sin código solo admite una instrucción, mientras que el editor de código admite varias. Por ejemplo, puede borrar los datos existentes de una tabla: TRUNCATE TABLE tablename.

No

Ninguna

postSql

Una o más instrucciones SQL para ejecutar después de que finalice la tarea de sincronización. La interfaz sin código solo admite una instrucción, mientras que el editor de código admite varias. Por ejemplo, puede agregar una columna de marca de tiempo mediante la siguiente instrucción: ALTER TABLE tablename ADD colname TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP.

No

Ninguna

batchSize

Número de registros por lote de escritura. Valores más altos reducen los ciclos de ida y vuelta de red y pueden mejorar el rendimiento, pero establecer un valor demasiado alto puede provocar un error de memoria insuficiente (OOM).

No

256

updateColumn

Cuando writeMode se establece en update, este parámetro especifica qué columnas actualizar cuando ocurre un conflicto de clave primaria o índice único. Especifique las columnas en un arreglo JSON. Ejemplo: "updateColumn":["name","age"].

No

Ninguna