Tablestore:Sincronizar dados entre tabelas

Codeless UI (default)

Configure os seguintes itens:

• Data source: Selecione as sources de dados de origem e de destino.

• Runtime Resource: Selecione um grupo de recursos. Após selecionar um grupo de recursos, a conectividade da source de dados é testada automaticamente.

• Data Source:

  • Table: Na lista suspensa, selecione a tabela de origem.

  • Primary Key Range Start: Chave primária inicial para leitura de dados, especificada como um array JSON. inf_min representa infinito negativo.

    Quando a chave primária consiste em uma coluna int chamada id e uma coluna string chamada name, um exemplo de configuração é:

    Faixa específica de chave primária	Dados completos
    [ { "type": "int", "value": "000" }, { "type": "string", "value": "aaa" } ]	[ { "type": "inf_min" }, { "type": "inf_min" } ]

  • Primary key range (end): Chave primária final para leitura de dados, especificada como um array JSON onde inf_max representa infinito.

    Quando a chave primária consiste em uma coluna int chamada id e uma coluna string chamada name, um exemplo de configuração é:

    Faixa específica de chave primária	Dados completos
    [ { "type": "int", "value": "999" }, { "type": "string", "value": "zzz" } ]	[ { "type": "inf_max" }, { "type": "inf_max" } ]

  • Splitting Configuration: Configuração de divisão personalizada, especificada como um array JSON. Recomendamos não configurar este parâmetro em circunstâncias normais (defina como []).

    Se existirem partições quentes no Tablestore e a política de divisão automática do Tablestore Reader não surtir efeito, recomenda-se o uso de regras de divisão personalizadas. Uma regra de divisão especifica os pontos de divisão dentro da faixa das chaves primárias inicial e final. É necessário configurar apenas a chave de divisão, não todas as chaves primárias.

• Destination:

  • Table: Na lista suspensa, selecione a tabela de destino.

  • Primary Key Information: Informações da chave primária da tabela de destino. O valor deve estar no formato de array JSON.

    Quando a chave primária contém uma coluna de chave primária int chamada id e uma coluna de chave primária string chamada name, o exemplo de configuração é:

    [
      {
        "name": "id",
        "type": "int"
      },
      {
        "name": "name",
        "type": "string"
      }
    ]

  • Write Mode: Modo de gravação de dados no Tablestore. Os seguintes modos são suportados:

    • PutRow: Grava dados de linha. Se a linha de destino não existir, uma nova linha será adicionada. Caso exista, a linha existente será sobrescrita.

    • UpdateRow: Atualiza dados de linha. Se a linha não existir, uma nova linha será adicionada. Se existir, os valores das colunas especificadas nesta linha serão adicionados, modificados ou excluídos conforme a solicitação.

• Destination Field Mapping: Configure o mapeamento de campos da tabela de origem para a tabela de destino. Cada linha representa um campo, especificado no formato JSON.

  • Source Field: O valor deve incluir as informações da chave primária da tabela de origem.

    Quando a chave primária contém uma coluna de chave primária int chamada id e uma coluna de chave primária string chamada name, e a coluna de atributo contém um campo int chamado age, o exemplo de configuração é:

    {"name":"id","type":"int"}
    {"name":"name","type":"string"}
    {"name":"age","type":"int"}

  • Target Field: O valor não precisa incluir as informações da chave primária da tabela de destino.

    Se a chave primária consistir em uma coluna int chamada id e uma coluna string chamada name, e a coluna de atributo contiver um campo int chamado age, o exemplo de configuração é:

    {"name":"age","type":"int"}

Após concluir a configuração, clique em Save na parte superior da página.

Code editor

Clique em Code Editor na parte superior da página. Na página exibida, edite o script.

O exemplo a seguir mostra a configuração para uma tabela cuja chave primária consiste em uma coluna int chamada id e uma coluna string chamada name , e as colunas de atributo incluem um campo int chamado age . Ao definir as configurações, substitua o nome da datasource e da table no script de exemplo.

Full data

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "inf_min"
                        },
                        {
                            "type": "inf_min"
                        }
                    ],
                    "end": [
                        {
                            "type": "inf_max"
                        },
                        {
                            "type": "inf_max"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "target_data",
                "column": [
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "writeMode": "UpdateRow",
                "table": "target_table",
                "newVersion": "true",
                "primaryKey": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    }
                ]
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Specific primary key range

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "int",
                            "value": "000"
                        },
                        {
                            "type": "string",
                            "value": "aaa"
                        }
                    ],
                    "end": [
                        {
                            "type": "int",
                            "value": "999"
                        },
                        {
                            "type": "string",
                            "value": "zzz"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "target_data",
                "column": [
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "writeMode": "UpdateRow",
                "table": "target_table",
                "newVersion": "true",
                "primaryKey": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    }
                ]
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Após editar o script, clique em Save na parte superior da página.

Executar a tarefa de sincronização

Clique em Run na parte superior da página para iniciar a tarefa de sincronização. Ao executar a tarefa pela primeira vez, confirme a Debug Configuration.

Etapa 4: Visualizar o resultado da sincronização

Após a execução da tarefa, verifique o status nos logs e visualize os dados sincronizados no console do Tablestore.

1. Verifique o status e o resultado da execução da tarefa na parte inferior da página. As informações de log a seguir indicam que a tarefa de sincronização foi bem-sucedida.

   2025-11-18 11:16:23 INFO Shell run successfully!
   2025-11-18 11:16:23 INFO Current task status: FINISH
   2025-11-18 11:16:23 INFO Cost time is: 77.208s

2. Visualize os dados na tabela de destino.

   1. Acesse o console do Tablestore. Na barra de navegação superior, selecione o grupo de recursos e a região.

   2. Clique no alias da instância. Na página Tables, clique na tabela de destino.

   3. Clique em Query Data para visualizar os dados na tabela de destino.

Sincronizar dados usando a CLI

O uso da interface de linha de comando exige a exportação manual dos dados da tabela de origem para um arquivo JSON local e, em seguida, a importação desse arquivo para a tabela de destino. Este método é adequado apenas para migração de dados em pequena escala.

Etapa 1: Preparações

• Crie a tabela de destino. Certifique-se de que a estrutura da chave primária, incluindo nomes, tipos de dados e ordem das colunas de chave primária, seja idêntica à da tabela de origem.

• Baixe a interface de linha de comando.

Etapa 2: Exportar dados da tabela de origem

1. Inicie a interface de linha de comando e execute o comando config para configurar as informações de acesso da instância onde a tabela de origem está localizada. Para mais informações, consulte Iniciar a ferramenta e configurar informações de acesso.

   Antes de executar o comando, substitua endpoint, instance, id e key pelo endpoint, nome da instância, AccessKey ID e AccessKey Secret da instância onde a tabela de origem está localizada.

   config --endpoint https://myinstance.cn-hangzhou.ots.aliyuncs.com --instance myinstance --id NTSVL******************** --key 7NR2****************************************

2. Exporte os dados.

   1. Execute o comando use para utilizar a tabela de origem. Este tópico usa source_table como exemplo.

      use --wc -t source_table

   2. Exporte os dados da tabela de origem para um arquivo JSON local. Para mais informações, consulte Exportar dados.

      scan -o /tmp/sourceData.json

Etapa 3: Importar dados para a tabela de destino

1. Execute o comando config para configurar as informações de acesso da instância onde a tabela de destino está localizada.

   Antes de executar o comando, substitua endpoint, instance, id e key pelo endpoint, nome da instância, AccessKey ID e AccessKey Secret da instância onde a tabela de destino está localizada.

   config --endpoint https://myinstance.cn-hangzhou.ots.aliyuncs.com --instance myinstance --id NTSVL******************** --key 7NR2****************************************

2. Importe os dados.

   1. Execute o comando use para utilizar a tabela de destino. Este exemplo usa target_table.

      use --wc -t target_table

   2. Importe os dados do arquivo JSON local para a tabela de destino. Para mais informações, consulte Importar dados.

      import -i /tmp/sourceData.json 

FAQ

• Como configurar Split ao usar o Tablestore (OTS) Reader para sincronizar dados completos de uma tabela?

• FAQ do OTSReader