Este tópico descreve como usar o Data Transmission Service (DTS) para migrar dados de um banco de dados Db2 for LUW auto-gerenciado para uma instância AnalyticDB for PostgreSQL. O DTS oferece suporte à migração de schema, migração completa de dados e migração incremental de dados para este caminho de migração.
Pré-requisitos
Antes de começar, verifique se você possui:
Uma instância AnalyticDB for PostgreSQL com espaço de armazenamento disponível maior que o tamanho total dos dados no banco de dados Db2 for LUW de origem. Para crie uma instância, consulte Create an instance
Um banco de dados criado na instância AnalyticDB for PostgreSQL de destino para receber os dados migrados. Para mais detalhes, consulte Import vector data
Uma conta de banco de dados com as permissões necessárias (consulte Permissões necessárias)
Apenas para migração incremental de dados:
Log de arquivamento ativado no banco de dados Db2 for LUW de origem, configurado via
logarchmeth1oulogarchmeth2. Para detalhes de configuração, consulte logarchmeth1 e logarchmeth2
Após modificar as configurações de logarchmeth, faça o backup do banco de dados de origem para que a alteração tenha efeito. Caso contrário, o DTS retornará um erro durante a pré-verificação.
Para versões de banco de dados suportadas, consulte Overview of data migration scenarios.
Faturamento
|
Tipo de migração |
Taxa de configuração da instância |
Taxa de tráfego de internet |
|
Migração de schema e migração completa de dados |
Gratuita |
Gratuita |
|
Migração incremental de dados |
Cobrada. Consulte Billing overview. |
— |
Permissões necessárias
|
Banco de dados |
Migração de schema |
Migração completa de dados |
Migração incremental de dados |
|
Db2 for LUW |
CONNECT e SELECT |
CONNECT e SELECT |
Autoridade DBADM |
|
AnalyticDB for PostgreSQL |
— |
Permissões de leitura e gravação no banco de dados de destino |
— |
Para instruções sobre como crie contas e gerencie permissões:
Db2 for LUW: Criação de IDs de grupo e de usuário para uma instalação de banco de dados Db2 e Visão geral das autoridades
AnalyticDB for PostgreSQL: Create a database account e Manage users and permissions
Limitações
Durante a migração de schema, o DTS migra as chaves estrangeiras do banco de dados de origem para o banco de dados de destino.
Durante a migração completa de dados e a migração incremental de dados, o DTS desativa temporariamente as verificações de restrição de chave estrangeira e as operações em cascata no nível da sessão. A execução de operações em cascata ou exclua dados no banco de dados de origem durante a migração pode causar inconsistência de dados.
Limitações do banco de dados de origem
O servidor de origem deve ter largura de banda de saída suficiente; caso contrário, a velocidade de migração diminuirá.
As tabelas devem ter uma restrição PRIMARY KEY ou UNIQUE com todos os campos exclusivos. Sem isso, o banco de dados de destino poderá conter registros duplicados.
Se você usar o mapeamento de nomes de objetos para renomear objetos e quiser migrar mais de 1.000 tabelas, divida a migração em várias tarefas ou migre o banco de dados inteiro. Tarefas que têm como alvo mais de 1.000 tabelas selecionadas individualmente com renomeação falham com um erro de solicitação.
-
Para migração incremental de dados:
O log de dados deve estar ativado no banco de dados de origem. O DTS falha na pré-verificação se o log estiver desativado.
Apenas migração incremental: os logs de dados devem ser retidos por mais de 24 horas.
Migração completa de dados + migração incremental de dados: os logs de dados devem ser retidos por pelo menos 7 dias. Após a conclusão da migração completa, você pode reduzir o período de retenção para mais de 24 horas.
Se o período de retenção for insuficiente, o DTS poderá falhar ao ler os logs de dados, causando a falha da tarefa ou, em casos raros, inconsistência ou perda de dados. Este cenário está fora do escopo do Acordo de Nível de Serviço (SLA) do DTS.
Durante a migração completa de dados, não execute operações DDL no banco de dados de origem. Alterações de schema durante esta fase fazem com que a tarefa falhe.
Se você execute apenas a migração completa de dados (sem migração incremental), evite gravar no banco de dados de origem durante a migração. Para garantir a consistência dos dados, execute a migração de schema, a migração completa de dados e a migração incremental de dados juntas.
Outras limitações
A migração incremental de dados usa a tecnologia de replicação de captura de dados de alteração (CDC) do Db2 for LUW. O CDC tem suas próprias restrições de tipo de dados. Consulte Restrições gerais de dados para replicação SQL.
Apenas tabelas podem ser selecionadas como objetos de migração. Tabelas otimizadas para anexação (AO) não são suportadas como tipo de tabela de destino.
Durante a migração de schema e a migração incremental de dados, as chaves estrangeiras não são migradas para o banco de dados de destino.
Operações INSERT simultâneas durante a migração completa de dados causam fragmentação do tablespace. O tablespace de destino será maior que o de origem após a conclusão da migração completa.
Se ferramentas além do DTS gravarem no banco de dados de destino durante a migração, poderá ocorrer inconsistência de dados. Após a conclusão da migração, use o Data Management (DMS) para operações DDL online. Consulte Perform lock-free DDL operations.
Se o mapeamento de colunas for usado para migração de tabela não completa, ou se os schemas de origem e destino forem diferentes, os dados nas colunas de origem que não existem no destino serão perdidos.
Execute as migrações durante horários de menor movimento sempre que possível. A migração completa de dados usa recursos de leitura e gravação em ambos os bancos de dados, o que aumenta a carga do servidor.
Limitações específicas para Db2 for LUW auto-gerenciado
Se ocorrer um failover primário/secundário no banco de dados de origem enquanto a tarefa de migração estiver em execução, a tarefa falhará.
O DTS calcula a latência de migração como a diferença entre o carimbo de data/hora do último registro migrado no banco de dados de destino e o carimbo de data/hora atual no banco de dados de origem. Se nenhuma operação DML for executada na origem por um período prolongado, a latência exibida poderá ser imprecisa. Para atualize a leitura de latência, execute uma operação DML na origem. Se você selecionar um banco de dados inteiro como objeto de migração, crie uma tabela de heartbeat que seja atualizada a cada segundo.
Operações SQL suportadas para migração incremental
|
Tipo de operação |
Instruções SQL |
|
DML |
INSERT, UPDATE, DELETE |
Crie uma tarefa de migração
As etapas a seguir orientam você na configuração e iniciação de uma tarefa de migração do DTS de um banco de dados Db2 for LUW auto-gerenciado para uma instância AnalyticDB for PostgreSQL.
Etapa 1: acesse a página Data Migration Tasks
Faça login no console do Data Management (DMS).
Na barra de navegação superior, clique em DTS.
No painel de navegação à esquerda, escolha DTS (DTS) > Data Migration.
As etapas acima podem variar com base no modo e no layout do console do DMS. Para mais detalhes, consulte Modo simples e Personalizar o layout e o estilo do console do DMS . Como alternativa, acesse diretamente a página Data Migration Tasks .
Etapa 2: Configurar os bancos de dados de origem e de destino
-
Na lista suspensa ao lado de Data Migration Tasks, selecione a região onde a instância de migração reside.
No novo console do DTS, selecione a região no canto superior esquerdo.
Clique em Create Task. No assistente Create Task, configure os seguintes parâmetros.
Banco de dados de origem
|
Parâmetro |
Descrição |
|
Select an existing DMS database instance (opcional) |
Selecione uma instância registrada existente para preencher automaticamente seus parâmetros ou ignore esta etapa e configure os parâmetros manualmente. |
|
Database Type |
Selecione DB2 for LUW. |
|
Access Method |
Selecione o método de acesso com base em onde o banco de dados de origem está implantado. Este exemplo usa Self-managed Database on ECS. Para outros métodos de acesso, consulte Preparation overview. |
|
Instance Region |
A região onde o banco de dados Db2 for LUW de origem reside. |
|
Replicate Data Across Alibaba Cloud Accounts |
Selecione No se a origem e o destino estiverem sob a mesma conta alibaba cloud (como neste exemplo). |
|
ECS Instance ID |
O ID da instância do Elastic Compute Service (ecs) que hospeda o banco de dados Db2 for LUW de origem. |
|
Port Number |
A porta de service do banco de dados Db2 for LUW de origem. |
|
Database Name |
O nome do banco de dados de origem que contém os objetos a serem migrados. |
|
Database Account |
A conta para o banco de dados de origem. Para as permissões necessárias, consulte Permissões necessárias. |
|
Database Password |
A senha da conta do banco de dados. |
Banco de dados de destino
|
Parâmetro |
Descrição |
|
Select an existing DMS database instance (opcional) |
Selecione uma instância registrada existente para preencher automaticamente seus parâmetros ou ignore esta etapa e configure os parâmetros manualmente. |
|
Database Type |
Selecione AnalyticDB for PostgreSQL. |
|
Access Method |
Selecione Alibaba Cloud Instance. |
|
Instance Region |
A região onde a instância AnalyticDB for PostgreSQL de destino reside. |
|
Instance ID |
O ID da instância AnalyticDB for PostgreSQL de destino. |
|
Database Name |
O nome do banco de dados na instância de destino que receberá os dados migrados. |
|
Database Account |
A conta para o banco de dados de destino. Para as permissões necessárias, consulte Permissões necessárias. |
|
Database Password |
A senha da conta do banco de dados. |
Etapa 3: Testar a conectividade
Clique em Test Connectivity and Proceed.
O DTS adiciona automaticamente seus blocos CIDR à configuração de segurança das instâncias de banco de dados da Alibaba Cloud e dos bancos de dados hospedados em ECS. Para bancos de dados auto-gerenciados em um data center ou em uma cloud de terceiros, adicione os blocos CIDR do DTS à lista de permissões de endereços IP do banco de dados manualmente. Consulte Adicionar os blocos CIDR dos servidores DTS às configurações de segurança de bancos de dados locais.
Adicionar blocos CIDR do DTS à sua lista de permissões de endereços IP ou às regras do grupo de segurança do ECS apresenta riscos de segurança. Antes de continuar, tome medidas preventivas como: usar credenciais de conta fortes, restringir portas expostas, autenticar chamadas de API, auditar entradas da lista de permissões regularmente e conectar-se ao DTS por meio do Express Connect, VPN Gateway ou Smart Access Gateway.
Etapa 4: Configurar objetos de migração e configurações avançadas
Configure os seguintes parâmetros.
Tipos de migração
Escolha o tipo de migração com base no tempo de inatividade que você pode aceitar:
|
Opção |
Quando usar |
|
Schema Migration + Full Data Migration |
Use quando você puder interromper as gravações no banco de dados de origem antes da migração. A tarefa é concluída após o término do carregamento inicial de dados. |
|
Schema Migration + Full Data Migration + Incremental Data Migration (recomendado) |
Use quando o banco de dados de origem precisar permanecer em produção durante a migração. A migração incremental captura e aplica alterações continuamente até que você faça o cutover. |
Se você não selecionar Incremental Data Migration , evite gravar no banco de dados de origem durante a migração para evitar inconsistência de dados.
Outras configurações
|
Parâmetro |
Descrição |
|
DDL and DML Operations to Be Synchronized |
As operações SQL a serem incluídas na migração incremental. Para as operações suportadas, consulte SQL operations supported for incremental migration. Para configurar a filtragem de operações SQL por objeto, clique com o botão direito em um objeto na seção Selected Objects e selecione as operações na caixa de diálogo. |
|
Processing Mode of Conflicting Tables |
Precheck and Report Errors: O DTS falha na pré-verificação se alguma tabela de destino compartilhar nomes com as tabelas de origem. Use o mapeamento de nomes de objetos para renomear tabelas conflitantes antes de iniciar a tarefa. Consulte Mapear nomes de objetos. Ignore Errors and Proceed: O DTS ignora a verificação de conflito de nomes. Se as tabelas de origem e de destino compartilharem o mesmo schema, os registros com valores de chave primária correspondentes não serão migrados. Se os schemas forem diferentes, apenas as colunas correspondentes serão migradas, ou a tarefa poderá falhar. Use com cautela. |
|
Capitalization of Object Names in Destination Instance |
Controla a capitalização dos nomes de bancos de dados, tabelas e colunas no destino. O padrão é DTS default policy. Combine isso com a convenção de capitalização padrão do banco de dados de destino (por exemplo, minúsculas) para evitar erros durante a tarefa. Consulte Especificar a capitalização dos nomes de objetos na instância de destino. |
|
Source Objects |
Selecione um ou mais objetos e clique no ícone |
|
Selected Objects |
Para renomear um objeto, clique com o botão direito nele e use o recurso de mapeamento de nomes de objetos. Para renomear vários objetos de uma vez, clique em Batch Edit e edite os objetos. Consulte Mapear nomes de objetos. Para filtrar linhas por condição, clique com o botão direito em um objeto e especifique uma cláusula WHERE. Consulte Use SQL conditions to filter data. |
para adicioná-los a Selected Objects. Apenas tabelas podem ser selecionadas.O mapeamento de nomes de objetos e as diferenças de schema entre a origem e o destino podem resultar em perda de dados para colunas que existem na origem, mas não no destino.
Etapa 5: Configurar configurações avançadas
Clique em Next: Advanced Settings e configure os seguintes parâmetros.
Verificação de dados
Consulte Enable data verification.
Configurações avançadas
| Parâmetro | Descrição |
|---|---|
| Select the dedicated cluster used to schedule the task | Por padrão, o DTS agenda a tarefa no cluster compartilhado. Para usar um cluster dedicado, compre um e especifique-o aqui. Consulte O que é um cluster dedicado do DTS. |
| Set Alerts | Selecione Yes para receber notificações quando a tarefa falhar ou a latência de migração exceder o limiar. Especifique o limiar e os contatos de alerta. Consulte Configurar monitoramento e alertas. |
| Retry Time for Failed Connections | Por quanto tempo o DTS tenta novamente se a conexão com o banco de dados de origem ou de destino falhar após o início da tarefa. Intervalo: 10 a 1440 minutos. Padrão: 720 minutos. Defina para pelo menos 30 minutos. Se o DTS reconectar dentro deste período, ele retomará a tarefa; caso contrário, a tarefa falhará. Nota
Se várias tarefas compartilharem a mesma origem ou destino, o tempo de nova tentativa definido mais recentemente entrará em vigor. Durante a nova tentativa, você será cobrado pela instância do DTS. |
| The wait time before a retry when other issues occur in the source and destination databases | Por quanto tempo o DTS tenta novamente operações DDL ou DML com falha. Intervalo: 1 a 1440 minutos. Padrão: 10 minutos. Defina para pelo menos 10 minutos. Este valor deve ser menor que Retry Time for Failed Connections. |
| Enable Throttling for Full Data Migration | Limita a migração completa de dados para reduzir a carga no destino. Configure QPS (queries per second) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Exibido apenas quando Full Data Migration estiver selecionado. |
| Enable Throttling for Incremental Data Migration | Limita a migração incremental de dados. Configure RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s). Exibido apenas quando Incremental Data Migration estiver selecionado. |
| Environment Tag | Uma tag opcional para identificar a instância do DTS por ambiente (por exemplo, produção ou staging). |
| Configure ETL | Selecione Yes para usar o recurso de extração, transformação e carregamento (ETL) e insira instruções de processamento de dados. Consulte Configurar ETL em uma tarefa de migração de dados ou sincronização de dados. |
Etapa 6: Configurar campos de banco de dados e tabelas (opcional)
Clique em Next: Configure Database and Table Fields para definir o Type, a Primary Key Column e a Distribution Key para as tabelas que serão migradas para o AnalyticDB for PostgreSQL.
Esta etapa se aplica apenas quando Schema Migration estiver selecionado. Defina Definition Status como All para visualize e modifique todas as tabelas.
No campo Primary Key Column , especifique várias colunas para formar uma chave primária composta. Pelo menos uma coluna de chave primária também deve ser designada como chave de distribuição.
Para detalhes sobre a configuração de chave primária e chave de distribuição, consulte Manage tables e Define table distribution .
Etapa 7: Execute a pré-verificação
Clique em Next: Save Task Settings and Precheck.
Para visualize os parâmetros da API para esta configuração de tarefa, passe o mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters e salve as configurações antes de continuar.
O DTS executa uma pré-verificação antes de iniciar a tarefa. A tarefa só é iniciada após a aprovação na pré-verificação.
Se a pré-verificação falhar, clique em View Details ao lado de cada item com falha, resolva os problemas e, em seguida, clique em Precheck Again .
Se um item de alerta puder ser ignorado com segurança, clique em Confirm Alert Details e confirme os detalhes, depois em Ignore , em seguida em OK e, por fim, em Precheck Again . Ignorar alertas pode resultar em inconsistência de dados.
Etapa 8: Comprar e iniciar
Aguarde a taxa de sucesso da pré-verificação atingir 100% e, em seguida, clique em Next: Purchase Instance.
-
Na página Purchase Instance, configure o seguinte:
Seção Parâmetro Descrição New Instance Class Resource Group O grupo de recursos para a instância de migração. Padrão: default resource group. Consulte O que é o Resource Management? Instance Class A classe da instância determina a velocidade de migração. Selecione com base no seu volume de dados e requisitos de tempo. Consulte Specifications of data migration instances. Leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. A tarefa aparecerá na lista de tarefas, onde você poderá monitorar seu progresso.
Próximos passos
Ativar verificação de dados para validar os dados migrados.
Perform lock-free DDL operations no banco de dados de destino usando o DMS após a conclusão da migração.
Mapear nomes de objetos se a origem e o destino usarem convenções de nomenclatura diferentes.