Data Transmission Service:Migrar dados de um cluster PolarDB for MySQL para um projeto MaxCompute

Condições que bloqueiam a tarefa (corrija antes de iniciar)

As condições a seguir causam falha na tarefa de migração:

• O servidor onde o banco de dados de origem está implantado deve ter largura de banda de saída suficiente. Caso contrário, a velocidade de migração de dados diminui.

• As tabelas a serem migradas devem ter uma restrição PRIMARY KEY ou UNIQUE com todos os campos únicos. Sem isso, o destino pode conter registros duplicados.

• Se você selecionar tabelas como objetos de migração e precisar renomear tabelas ou colunas, uma única tarefa suportará até 1.000 tabelas. Tarefas com mais de 1.000 tabelas neste modo retornam um erro de solicitação. Configure várias tarefas ou migre no nível do banco de dados.

• Para migração incremental de dados, o log binário deve estar habilitado e o parâmetro loose_polar_log_bin deve estar definido como on. Se o log binário não estiver habilitado, a pré-verificação falhará e a tarefa não poderá ser iniciada. Consulte Habilitar log binário e Modificar parâmetros.

• Não execute instruções DDL para alterar esquemas de banco de dados ou tabelas durante a migração de esquema ou a migração completa de dados. A tarefa de migração falhará se os esquemas forem alterados durante a execução.

• Não utilize ferramentas como pt-online-schema-change para operações DDL online nos objetos em migração. A tarefa de migração falhará.

Habilitar o log binário em um cluster PolarDB for MySQL gera cobranças de armazenamento para os arquivos de log binário.

Riscos à integridade dos dados (revise antes de iniciar)

Estas condições podem causar inconsistência ou perda de dados:

• Os logs binários devem ser retidos por pelo menos 3 dias; recomenda-se a retenção por 7 dias para maior segurança. Se o DTS não conseguir ler os logs binários, a tarefa falhará. Em casos excepcionais, pode ocorrer inconsistência ou perda de dados. Reter logs por menos dias do que o necessário pode invalidar o Acordo de Nível de Serviço (SLA) do DTS. Consulte Modificar o período de retenção.

• Não grave dados no banco de dados de origem durante a migração apenas completa (migração de esquema + migração completa de dados sem incremental). Gravar na origem durante esta fase causa inconsistência de dados. Para gravar com segurança na origem durante a migração, inclua a migração incremental de dados.

• Não grave dados de outras fontes no projeto MaxCompute de destino durante a migração. Gravações externas causam inconsistência de dados.

• O MaxCompute não oferece suporte a restrições de chave primária. Se ocorrerem erros de rede, o DTS poderá gravar registros duplicados no projeto MaxCompute.

• O DTS tenta repetir tarefas com falha por até 7 dias. Antes de alternar cargas de trabalho para o destino, pare ou libere as tarefas com falha. Alternativamente, revogue as permissões de gravação das contas do DTS no destino. Caso contrário, os dados de origem substituirão os dados de destino quando uma tarefa com falha for retomada.

Limites operacionais

• O DTS não migra nós somente leitura do cluster PolarDB for MySQL de origem.

• O DTS não migra tabelas externas do Object Storage Service (OSS) do cluster PolarDB for MySQL de origem.

• O DTS não migra chaves estrangeiras. Operações em cascata e de exclusão dependentes de chaves estrangeiras não são replicadas para o destino.

• Migre dados fora dos horários de pico. A migração completa de dados utiliza recursos de leitura e gravação tanto na origem quanto no destino, o que aumenta a carga em ambos os servidores de banco de dados.

• Após a migração completa de dados, o tablespace de destino fica maior que o de origem porque operações INSERT simultâneas causam fragmentação da tabela.

• Se uma instância do DTS falhar, o suporte técnico do DTS tentará a recuperação dentro de 8 horas. A recuperação pode envolver a reinicialização da instância ou o ajuste de parâmetros da instância do DTS (não parâmetros do banco de dados). Para obter informações sobre os parâmetros modificáveis, consulte Modificar parâmetros da instância.

Etapa 1: Abrir a página Data Migration

Use o console do DTS ou o console do DMS.

Etapa 2: Configurar bancos de dados de origem e destino

1. Clique em Create Task.

2. Configure os seguintes parâmetros.

Geral

Banco de dados de origem

Banco de dados de destino

1. Clique em Test Connectivity and Proceed.

Certifique-se de que os blocos CIDR dos servidores do DTS foram adicionados às configurações de segurança dos bancos de dados de origem e destino. O DTS pode adicioná-los automaticamente ou você pode adicioná-los manualmente. Consulte Adicionar endereços IP do servidor DTS a uma lista de permissões .

1. Clique em OK para conceder permissões ao DTS no projeto MaxCompute. Em seguida, clique em Test Connectivity and Proceed.

Etapa 3: Configurar objetos de migração

1. Na página Configure Objects, defina os seguintes parâmetros.

Migration types

Se você pular a Schema Migration , crie o banco de dados e as tabelas de destino manualmente antes de iniciar a tarefa e ative o mapeamento de nomes de objetos em Selected Objects .

Se você pular a Incremental Data Migration , não grave no banco de dados de origem durante a migração para evitar inconsistência de dados.

Configuração de tabela

Seleção de objetos

Parâmetro	Descrição
Source Objects	Selecione os objetos a serem migrados. Clique no ícone para movê-los para Selected Objects. Tabelas são o tipo de objeto com suporte para este caminho de migração.
Selected Objects	Para renomear um único objeto no destino, clique com o botão direito nele em Selected Objects. Consulte Mapear o nome de um único objeto. Para renomear vários objetos de uma vez, clique em Batch Edit. Consulte Mapear vários nomes de objetos de uma vez. Para filtrar linhas em uma tabela, clique com o botão direito na tabela e configure as condições de filtro. Consulte Especificar condições de filtro. Nota Renomear um objeto com o mapeamento de nomes de objetos pode fazer com que objetos dependentes falhem na migração.

1. Clique em Next: Advanced Settings.

Etapa 4: Configurar definições avançadas

Etapa 5: Executar a pré-verificação

1. Para visualizar os parâmetros da API antes de salvar, passe o mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters.

2. Clique em Next: Save Task Settings and Precheck.

O DTS executa uma pré-verificação antes que a tarefa de migração possa ser iniciada. A tarefa só começa após a aprovação na pré-verificação.

• Se um item de verificação falhar, clique em View Details ao lado dele, corrija o problema e clique em Precheck Again.

• Se um alerta for disparado em um item de verificação e o item puder ser ignorado com segurança, clique em Confirm Alert Details, depois clique em Ignore na caixa de diálogo e clique em OK. Em seguida, clique em Precheck Again. Ignorar um alerta pode causar inconsistência de dados.

Etapa 6: Adquirir uma instância e iniciar a tarefa

1. Aguarde até que a Success Rate atinja 100%, então clique em Next: Purchase Instance.

2. Na página Purchase Instance, configure os seguintes parâmetros.

1. Leia e aceite os Data Transmission Service (Pay-as-you-go) Service Terms marcando a caixa de seleção.

2. Clique em Buy and Start, depois clique em OK na caixa de diálogo de confirmação.

A tarefa aparece na página Data Migration.

• Tarefas sem migração incremental param automaticamente quando a migração completa termina. O status mostra Completed.

• Tarefas com migração incremental são executadas continuamente. O status mostra Running. Pare a tarefa manualmente quando estiver pronto para realizar o corte (cutover).