DataWorks:DRDS (PolarDB-X 1.0)

Primeiros passos

Para iniciar a sincronização de dados com o DRDS (PolarDB-X 1.0), conclua estas etapas em ordem:

1. Crie uma conta de banco de dados com permissão replace into. Consulte Pré-requisitos.

2. Adicione o DRDS (PolarDB-X 1.0) como fonte de dados no DataWorks. Consulte Adicionar uma fonte de dados.

3. Configure e execute uma tarefa de sincronização. Consulte Desenvolver uma tarefa de sincronização de dados.

Pré-requisitos

Antes de começar, verifique se você possui:

• Uma conta de banco de dados DRDS (PolarDB-X 1.0) com a permissão replace into. Para obter instruções de configuração, consulte Criar uma conta.

Limitações

Tipos de campo suportados

O DRDS (PolarDB-X 1.0) Reader e Writer oferecem suporte à maioria dos tipos de dados. Verifique se seus tipos de dados constam na lista a seguir antes de configurar uma tarefa de sincronização.

Adicionar uma fonte de dados

Antes de desenvolver uma tarefa de sincronização no DataWorks, adicione o DRDS (PolarDB-X 1.0) como fonte de dados. Siga as instruções em Gerenciamento de fontes de dados. As descrições dos parâmetros estão disponíveis no console do DataWorks durante a adição da fonte de dados.

Desenvolver uma tarefa de sincronização de dados

Perguntas frequentes

Por que o DRDS (PolarDB-X 1.0) Reader não garante consistência de dados entre shards?

O DRDS (PolarDB-X 1.0) é um banco de dados distribuído. Quando o Reader extrai dados de diferentes tabelas fragmentadas subjacentes, ele captura snapshots em diferentes pontos no tempo, e não de um único intervalo de tempo consistente. Portanto, não é possível garantir forte consistência entre bancos de dados e tabelas fragmentados.

Como a codificação afeta a sincronização de dados?

O DRDS (PolarDB-X 1.0) suporta configurações de codificação nos níveis de campo, tabela, banco de dados e instância. A prioridade das configurações de codificação, da maior para a menor, é: campo, tabela, banco de dados e, por fim, instância. Defina a codificação como UTF-8 no nível do banco de dados para evitar problemas.

O DRDS (PolarDB-X 1.0) Reader usa JDBC para extração de dados, o que lida com a conversão de codificação automaticamente. No entanto, se a codificação usada ao gravar dados na camada subjacente diferir da codificação declarada, o Reader não detectará a incompatibilidade e o resultado da sincronização poderá conter caracteres ilegíveis.

Como configuro a sincronização incremental de dados?

O DRDS (PolarDB-X 1.0) Reader usa instruções JDBC SELECT para extração de dados. Use uma cláusula WHERE para filtrar apenas os registros adicionados ou alterados desde a última sincronização:

• Baseado em timestamp: Se sua aplicação grava um campo modify com um timestamp de alteração para cada registro (abrangendo adições, atualizações ou exclusões lógicas), adicione uma cláusula WHERE usando o timestamp da última execução de sincronização.

• Baseado em ID autoincremental: Para fluxos de dados somente de anexação, adicione uma cláusula WHERE usando o ID autoincremental máximo da sincronização anterior.

Se seus dados não tiverem um campo que distinga registros novos ou modificados dos existentes, o Reader não poderá oferecer suporte à extração incremental. Nesse caso, apenas a sincronização completa de dados estará disponível.

Apêndice: Demonstração de script e parâmetros

Para configurar uma tarefa de sincronização em lote usando o editor de código, siga o formato de script unificado descrito em Configurar uma tarefa no editor de código. As seções a seguir descrevem os parâmetros e fornecem exemplos de script.

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "drds",
            "parameter": {
                "datasource": "",
                "column": [
                    "id",
                    "name"
                ],
                "where": "",
                "table": "",
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "drds",
            "parameter": {
                "postSql": [],
                "datasource": "",
                "column": [
                    "id"
                ],
                "writeMode": "insert ignore",
                "batchSize": "1024",
                "table": "test",
                "preSql": []
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}