DataWorks:DRDS (PolarDB-X 1.0)

Primeros pasos

Para comenzar a sincronizar datos con DRDS (PolarDB-X 1.0), complete estos pasos en orden:

1. Cree una cuenta de base de datos con el permiso replace into. Consulte Requisitos previos.

2. Agregue DRDS (PolarDB-X 1.0) como origen de datos en DataWorks. Consulte Agregar un origen de datos.

3. Configure y ejecute una tarea de sincronización. Consulte Desarrollar una tarea de sincronización de datos.

Requisitos previos

Antes de empezar, asegúrese de contar con lo siguiente:

• Una cuenta de base de datos DRDS (PolarDB-X 1.0) con el permiso replace into. Para obtener instrucciones de configuración, consulte Create an account.

Limitaciones

Tipos de campo compatibles

DRDS (PolarDB-X 1.0) Reader y Writer admiten la mayoría de los tipos de datos. Compruebe que sus tipos de datos se encuentren en la siguiente lista antes de configurar una tarea de sincronización.

Agregar un origen de datos

Antes de desarrollar una tarea de sincronización en DataWorks, agregue DRDS (PolarDB-X 1.0) como origen de datos. Siga las instrucciones en Gestión de orígenes de datos. Las descripciones de los parámetros están disponibles en la consola de DataWorks cuando agrega el origen de datos.

Desarrollar una tarea de sincronización de datos

Preguntas frecuentes

¿Por qué DRDS (PolarDB-X 1.0) Reader no puede garantizar la consistencia de datos entre particiones?

DRDS (PolarDB-X 1.0) es una base de datos distribuida. Cuando el Reader extrae datos de diferentes tablas particionadas subyacentes, captura instantáneas en distintos puntos temporales, no desde un único intervalo de tiempo consistente. No se puede garantizar una consistencia estricta entre bases de datos y tablas particionadas.

¿Cómo afecta la codificación a la sincronización de datos?

DRDS (PolarDB-X 1.0) admite configuraciones de codificación a nivel de campo, tabla, base de datos e instancia. La prioridad de la configuración de codificación, de mayor a menor, es: campo, tabla, base de datos e instancia. Establezca la codificación en UTF-8 a nivel de base de datos para evitar problemas.

DRDS (PolarDB-X 1.0) Reader utiliza JDBC para la extracción de datos, lo cual gestiona automáticamente la conversión de codificación. Sin embargo, si la codificación utilizada al escribir datos en la capa subyacente difiere de la codificación declarada, el Reader no detectará la discrepancia y el resultado de la sincronización podría contener caracteres ilegibles.

¿Cómo configuro la sincronización incremental de datos?

DRDS (PolarDB-X 1.0) Reader utiliza sentencias JDBC SELECT para la extracción de datos. Utilice una cláusula WHERE para filtrar únicamente los registros agregados o modificados desde la última sincronización:

• Basado en marca de tiempo: Si su aplicación escribe un campo modify con una marca de tiempo de cambio para cada registro (que cubra adiciones, actualizaciones o eliminaciones lógicas), agregue una cláusula WHERE que utilice la marca de tiempo de la última ejecución de sincronización.

• Basado en ID autoincremental: Para flujos de datos de solo anexión, agregue una cláusula WHERE que utilice el ID autoincremental máximo de la sincronización anterior.

Si sus datos no tienen ningún campo que distinga los registros nuevos o modificados de los existentes, el Reader no podrá realizar la extracción incremental; solo estará disponible la sincronización completa de datos.

Apéndice: Demostración de script y parámetros

Para configurar una tarea de sincronización por lotes mediante el editor de código, siga el formato de script unificado descrito en Configure a task in the code editor. Las siguientes secciones describen los parámetros y proporcionan ejemplos de scripts.

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "drds",
            "parameter": {
                "datasource": "",
                "column": [
                    "id",
                    "name"
                ],
                "where": "",
                "table": "",
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "drds",
            "parameter": {
                "postSql": [],
                "datasource": "",
                "column": [
                    "id"
                ],
                "writeMode": "insert ignore",
                "batchSize": "1024",
                "table": "test",
                "preSql": []
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}