Migrate Db2 for LUW to Alibaba Cloud Message Queue for Apache Kafka - Data Transmission Service: Central de Documentação do Alibaba Cloud

Pré-requisitos

Crie uma instância de destino do Message Queue for Apache Kafka com mais espaço de armazenamento do que o necessário para o banco de dados de origem Db2 for LUW. Para obter mais informações, consulte Overview.

Nota
Para obter uma lista de bancos de dados de origem e de destino compatíveis, consulte migration scenarios.
Crie um tópico no Message Queue for Apache Kafka de destino para receber os dados migrados. Para obter mais informações, consulte Step 1: Create a Topic.
Para executar uma migração incremental, ative o log de arquivamento do banco de dados Db2 for LUW. Para obter mais informações, consulte Primary log archive method e Secondary log archive method.

Importante
Após modificar as configurações de logarchmeth, faça um backup do banco de dados para que as alterações tenham efeito. Caso contrário, a pré-verificação pode retornar um erro.

Limitações

Nota

O DTS não migra chaves estrangeiras. Consequentemente, operações em cascata, como exclusão em cascata no banco de dados de origem, não são replicadas no banco de dados de destino.

Tipo	Descrição
Limites do banco de dados de origem	Largura de banda: O servidor que hospeda o banco de dados de origem deve ter largura de banda de saída suficiente. A falta de largura de banda afeta a velocidade da migração de dados. As tabelas a serem migradas devem ter uma chave primária ou uma restrição exclusiva. Caso contrário, o banco de dados de destino poderá conter dados duplicados. Se você migrar dados no nível de tabela e precisar editar mapeamentos de objetos, como nomes de colunas, uma única tarefa de migração de dados suporta no máximo 1.000 tabelas. Se esse limite for excedido, a tarefa retornará um erro no envio. Para contornar isso, divida as tabelas em várias tarefas ou migre todo o banco de dados. Para migração incremental de dados, os seguintes requisitos se aplicam aos logs de dados: Os logs devem estar ativados. Caso contrário, a pré-verificação falhará e a tarefa de migração de dados não poderá ser iniciada. Para uma tarefa de migração incremental de dados, os logs de dados no banco de dados de origem devem ser retidos por mais de 24 horas. Para uma tarefa que inclui migração completa e incremental de dados, os logs de dados devem ser retidos por pelo menos sete dias. Após a conclusão da migração completa de dados, reduza o período de retenção para mais de 24 horas. A retenção insuficiente de logs pode impedir que o DTS obtenha logs, causando falha na tarefa e potencialmente levando à inconsistência ou perda de dados. O SLA do DTS não cobre problemas causados por retenção insuficiente de logs. Restrições operacionais no banco de dados de origem: Não execute operações DDL durante a fase de migração completa de dados. Caso contrário, a tarefa de migração falhará. Se você executar apenas uma migração completa de dados, não grave novos dados na instância de origem. Caso contrário, os bancos de dados de origem e de destino ficarão inconsistentes. Para manter a consistência dos dados em tempo real, selecione tanto a migração completa quanto a incremental de dados.
Outros limites	O DTS não oferece suporte à migração de INDEX, PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER e chaves estrangeiras. O DTS usa a tecnologia de replicação Change Data Capture (CDC) do Db2 for LUW para migrar dados incrementais de um banco de dados Db2 for LUW. No entanto, essa tecnologia tem seus próprios limites. Para obter mais informações, consulte General data restrictions for SQL Replication. Antes de migrar dados, avalie o desempenho dos bancos de dados de origem e de destino. Recomendamos executar a migração fora dos horários de pico, pois o DTS utiliza recursos de leitura e gravação em ambos os bancos de dados durante a migração completa de dados. A migração completa de dados envolve operações INSERT simultâneas que podem causar fragmentação de tabelas. Como resultado, o tablespace de destino pode ser maior que o de origem após a conclusão da migração completa de dados. Durante a migração, não grave dados no banco de dados de destino a partir de nenhuma fonte além do DTS. Fazer isso pode causar inconsistência de dados. Após a conclusão da migração, use o Data Management (DMS) para executar operações DDL online. Para obter mais informações, consulte Perform lockless schema changes using lockless change tickets. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la dentro de oito horas. Durante a restauração, eles podem reiniciar a tarefa ou ajustar seus parâmetros. Nota Apenas os parâmetros da tarefa do DTS são modificados — não os parâmetros do banco de dados. Os parâmetros que podem ser ajustados incluem aqueles listados em Modify instance parameters.
Casos especiais	Se ocorrer um failover primário/secundário no banco de dados de origem durante a migração de dados, a tarefa de migração falhará. Se nenhuma operação DML for executada no banco de dados de origem por um longo período, a latência calculada pode se tornar imprecisa. Se a latência relatada for excessivamente alta, execute uma operação DML no banco de dados de origem para atualizar o valor da latência. Nota Se você migrar um banco de dados inteiro, também poderá criar uma tabela de heartbeat e atualizar ou gravar dados nela a cada segundo. Se você dimensionar a instância de destino do ApsaraMQ for Kafka durante a migração de dados, deverá reiniciar a instância do DTS.

Faturamento

Tipo de migração	Taxa de configuração	Taxa de tráfego de Internet
Migração de esquema e migração completa de dados	Gratuito.	Gratuito para este exemplo.
Migração incremental de dados	Cobrado. Para obter detalhes, consulte billing overview.	Gratuito para este exemplo.

Operações SQL suportadas para migração incremental

Tipo de operação	Instrução SQL
DML	INSERT, UPDATE e DELETE

Permissões da conta do Db2 for LUW

Banco de dados	Migração completa de dados	Migração de esquema	Migração incremental de dados
Db2 for LUW	Permissões CONNECT e SELECT	Permissões CONNECT e SELECT	Permissões DBADM

Para criar uma conta de banco de dados e conceder permissões em um banco de dados Db2 for LUW, consulte Creating group and user IDs for a Db2 database installation (Linux and UNIX) e Authorities overview.

Procedimento

Acesse a página da lista de tarefas de migração da região de destino usando um dos métodos a seguir.
Pelo console do DTS
1. Faça login no console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Migration.
3. No canto superior esquerdo da página, selecione a região onde a instância de migração está localizada.
Pelo console do DMS

Nota
As operações reais podem variar com base no modo e no layout do console do DMS. Para obter mais informações, consulte Simple mode console e Customize the layout and style of the DMS console.
1. Faça login no console do Data Management (DMS).
2. Na barra de menus superior, escolha Data + AI > Data Transmission (DTS) > Data Migration.
3. À direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.
Clique em Create Task para acessar a página de configuração da tarefa.

Configure os bancos de dados de origem e de destino.

Categoria	Parâmetro	Descrição
N/A	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
Source Database	Select Existing Connection	Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância de banco de dados desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente. Nota No console do DMS, este parâmetro é denominado Select a DMS database instance.. Se você não registrou a instância de banco de dados no sistema ou não precisa usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione DB2 for LUW.
	Access Method	Selecione um método de acesso com base no local de implantação do banco de dados de origem Db2 for LUW. Este tópico usa Self-managed Database on ECS como exemplo. Nota Se você selecionar outro método de acesso para o banco de dados autogerenciado, deverá executar etapas adicionais de preparação. Para obter mais informações, consulte Preparation Overview.
	Instance Region	Selecione a região do banco de dados de origem Db2 for LUW.
	Replicate Data Across Alibaba Cloud Accounts	Este exemplo demonstra a migração de dados dentro da mesma conta Alibaba Cloud. Selecione No.
	ECS Instance ID	Selecione o ID da instância ECS do banco de dados de origem Db2 for LUW.
	Port Number	Insira a porta de service do banco de dados de origem Db2 for LUW.
	Database Name	Insira o nome do banco de dados na instância de origem Db2 for LUW que contém os objetos a serem migrados.
	Database Account	Insira a conta do banco de dados para o banco de dados de origem Db2 for LUW. Para obter informações sobre as permissões necessárias, consulte Permissions Required for Database Accounts.
	Database Password	Insira a senha correspondente à conta do banco de dados.
Destination Database	Select Existing Connection	Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância de banco de dados desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente. Nota No console do DMS, este parâmetro é denominado Select a DMS database instance.. Se você não registrou a instância de banco de dados no sistema ou não precisa usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione Kafka.
	Access Method	Selecione Express Connect, VPN Gateway, or Smart Access Gateway. Nota Neste tópico, uma instância do ApsaraMQ for Kafka é configurada como um banco de dados Kafka autogerenciado para a tarefa de migração.
	Instance Region	Selecione a região da instância do ApsaraMQ for Kafka.
	Connected VPC	Selecione o ID da VPC da instância de destino do ApsaraMQ for Kafka. Nota Você pode encontrar o VPC ID na seção Configurations da aba Instance Information da instância do ApsaraMQ for Kafka.
	Domain Name or IP	Insira um dos endereços IP do Default Endpoint da instância do ApsaraMQ for Kafka. Nota Na aba Instance Information da instância do ApsaraMQ for Kafka, vá para a seção Endpoint Information e localize o endpoint cujo Type seja Default Endpoint. Passe o ponteiro sobre o Domain Endpoint e visualize o IP Endpoint na dica de ferramenta exibida.
	Port Number	Insira a porta de service da instância do ApsaraMQ for Kafka. O valor padrão é 9092. Nota Você só precisa inserir um endereço IP e sua porta correspondente.
	Database Account	Especifique a Database Account e a Database Password apenas se a Lista de Controle de Acesso (ACL) estiver ativada para a instância do ApsaraMQ for Kafka. Nota Para obter mais informações sobre como ativar a ACL, consulte SASL user authorization. Database Account: Na aba SASL User Management, visualize o Username. Database Password: Na aba SASL User Management, clique em Copy Password na linha da conta do banco de dados de destino.
	Database Password
	Kafka Version	Selecione a versão correspondente à sua instância do Kafka. Se a versão da instância do ApsaraMQ for Kafka usada nesta tarefa for 0.10.2, selecione 0.10. Se a versão da instância do ApsaraMQ for Kafka usada nesta tarefa for 2.6.2 ou 2.2.0, selecione Later Than 1.0.
	Encryption	Selecione Non-encrypted ou SCRAM-SHA-256 com base nos seus requisitos de negócios e segurança.
	Topic	Na lista suspensa, selecione o tópico que receberá os dados.
	Use Kafka Schema Registry	O Kafka Schema Registry fornece uma interface RESTful para armazenar e recuperar esquemas Avro. No: Não usar o Kafka Schema Registry. Yes: Usar o Kafka Schema Registry. Insira a URL ou o endereço IP do esquema Avro, conforme registrado no Kafka Schema Registry.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página. Na caixa de diálogo CIDR Blocks of DTS Servers que aparece, clique em Test Connectivity.

Nota
Certifique-se de que os segmentos de endereço IP do service DTS foram adicionados automática ou manualmente às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso dos servidores do DTS. Para obter mais informações, consulte Add DTS server IP addresses to a whitelist.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos que deseja migrar.

Parâmetro	Descrição
Migration Types	Se você precisar executar apenas uma migração completa, selecione tanto Schema Migration quanto Full Data Migration. Para executar uma migração sem tempo de inatividade, selecione Schema Migration, Full Data Migration e Incremental Data Migration. Nota Se você não selecionar Schema Migration, deverá garantir que exista um banco de dados e tabelas para receber os dados no banco de dados de destino. Você também pode usar o recurso de mapeamento de nomes de objetos na caixa Selected Objects conforme necessário. Se você não selecionar Incremental Data Migration, não grave novos dados na instância de origem durante a migração de dados para garantir a consistência dos dados.
Processing Mode of Conflicting Tables	Precheck and Report Errors: Verifica se existem tabelas com os mesmos nomes no banco de dados de destino. Se não existirem tabelas com os mesmos nomes, a pré-verificação é aprovada. Se existirem tabelas com os mesmos nomes, um erro será relatado durante a pré-verificação e a tarefa de migração de dados não será iniciada. Nota Se uma tabela no banco de dados de destino tiver o mesmo nome, mas não puder ser facilmente excluída ou renomeada, você poderá alterar o nome da tabela no banco de dados de destino. Para obter mais informações, consulte Object name mapping. Ignore Errors and Proceed: Ignora a verificação de tabelas com os mesmos nomes. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e riscos aos negócios. Por exemplo: Se os esquemas das tabelas forem consistentes e um registro no banco de dados de destino tiver o mesmo valor de chave primária que um registro no banco de dados de origem: Durante a migração completa, o DTS mantém o registro no banco de dados de destino. O registro do banco de dados de origem não é migrado. Durante a migração incremental, o DTS não mantém o registro no banco de dados de destino. O registro do banco de dados de origem substitui o registro no banco de dados de destino. Se os esquemas das tabelas forem inconsistentes, apenas algumas colunas de dados poderão ser migradas ou a migração poderá falhar. Prossiga com cautela.
Data Format in Kafka	O formato de armazenamento para dados migrados para uma instância do Kafka. Se você selecionar DTS Avro, deverá analisar os dados com base na definição de esquema DTS Avro. Para obter mais informações, consulte DTS Avro schema definition e DTS Avro deserialization example. Se você selecionar Shareplex Json, consulte Shareplex Json para descrições e exemplos de parâmetros.
Kafka Data Compression Format	Selecione um formato de compactação para mensagens do Kafka com base nos seus requisitos. LZ4 (padrão): baixa taxa de compactação, alta velocidade de compactação. GZIP: alta taxa de compactação, baixa velocidade de compactação. Nota Alto consumo de cpu. Snappy: taxa de compactação média, velocidade de compactação média.
Policy for Shipping Data to Kafka Partitions	Selecione uma strategy com base nos seus requisitos de negócios.
Message acknowledgement mechanism	Selecione um message acknowledgment mechanism com base nos seus requisitos de negócios.
Topic That Stores DDL Information	Selecione o tópico para armazenar informações DDL. Nota Se nenhum tópico for selecionado, o DTS armazenará as informações DDL no tópico de dados por padrão.
Capitalization of Object Names in Destination Instance	Você pode configurar a política de diferenciação de maiúsculas e minúsculas para os nomes dos objetos migrados, como bancos de dados, tabelas e colunas, na instância de destino. Por padrão, DTS default policy está selecionado. Você também pode optar por manter a diferenciação de maiúsculas e minúsculas consistente com a política padrão do banco de dados de origem ou de destino. Para obter mais informações, consulte Case sensitivity of object names in the destination database.
Source Objects	Na caixa Source Objects, clique nos objetos a serem migrados e, em seguida, clique em para movê-los para a caixa Selected Objects. Nota Você pode selecionar objetos no nível de banco de dados, tabela ou coluna. Se você selecionar tabelas ou colunas, outros objetos, como views, triggers e stored procedures, não serão migrados.
Selected Objects	Nenhuma configuração adicional é necessária neste exemplo. Você pode usar o recurso de mapeamento para definir o nome do tópico, o número de partições e a chave de partição para a tabela de origem na instância do Kafka de destino. Para obter mais informações, consulte Mapping information. Nota Se você usar o recurso de mapeamento de nomes de objetos, a migração de outros objetos que dependem do objeto mapeado poderá falhar. Para selecionar as operações SQL para migração incremental, clique com o botão direito do mouse no objeto a ser migrado no painel Selected Objects e selecione as operações SQL desejadas na caixa de diálogo que aparece.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado. Você não precisa selecionar um. Se desejar tarefas mais estáveis, adquira um dedicated cluster para executar tarefas de migração do DTS.
Retry Time for Failed Connections	Após o início da tarefa de migração, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relatará um erro e começará imediatamente a tentar reconectar. A duração padrão de nova tentativa é de 720 minutos. Personalize o tempo de nova tentativa para um valor entre 10 e 1440 minutos. Recomendamos definir a duração para mais de 30 minutos. Se o DTS se reconectar aos bancos de dados de origem e de destino dentro da duração especificada, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Para várias instâncias do DTS que compartilham a mesma origem ou destino, o tempo de nova tentativa de rede é determinado pela configuração da última tarefa criada. Como você é cobrado pela tarefa durante o período de nova tentativa de conexão, recomendamos personalizar o tempo de nova tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
Retry Time for Other Issues	Após o início da tarefa de migração, se ocorrer um problema que não seja de conectividade, como uma exceção de execução DDL ou DML, no banco de dados de origem ou de destino, o DTS relatará um erro e começará imediatamente a tentar novamente a operação. A duração padrão de nova tentativa é de 10 minutos. Personalize o tempo de nova tentativa para um valor entre 1 e 1440 minutos. Recomendamos definir a duração para mais de 10 minutos. Se as operações relacionadas forem bem-sucedidas dentro da duração de nova tentativa especificada, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o valor de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Durante a migração completa, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Se necessário, ative o limitador de velocidade para a tarefa de migração completa. Defina Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas se você selecionar Full Data Migration para Migration Types. Você também pode adjust the full migration speed após a instância de migração estar em execução.
Enable Throttling for Incremental Data Migration	Se necessário, defina limites de velocidade para a tarefa de migração incremental. Defina RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas se você selecionar Incremental Data Migration para Migration Types. Você também pode adjust the incremental migration speed após a instância de migração estar em execução.
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Este parâmetro é opcional.
Configure ETL	Com base nas necessidades do seu negócio, selecione se deseja configurar o ETL feature para processar dados. Yes: Configura o recurso ETL. Você também deve inserir data processing statements na caixa de texto. No: Não configura o recurso ETL.
Monitoring and Alerting	Selecione se deseja definir alertas e receber notificações de alerta com base nas necessidades do seu negócio. No: Não define um alerta. Yes: Configure alertas definindo um alert threshold e um notificações de alerta. Se uma migração falhar ou a latência exceder o limiar, o sistema enviará uma notificação de alerta.

Salve a tarefa e execute uma pré-verificação.
- Para visualizar os parâmetros de configuração desta instância ao chamar a operação da api, passe o ponteiro sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão que aparece.
- Se você não precisar visualizar ou já tiver terminado de visualizar os parâmetros da api, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de migração, o DTS executa uma pré-verificação. A tarefa só começa após passar na pré-verificação.
- Se a pré-verificação falhar, clique em View Details ao lado do item de verificação com falha, corrija o problema com base no aviso e execute a pré-verificação novamente.
- Se um aviso for relatado durante a pré-verificação:
  
  Para itens de verificação que não podem ser ignorados, clique em View Details ao lado do item com falha, corrija o problema com base no aviso e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again para pular o item de alerta e executar a pré-verificação novamente. Se você optar por ignorar um aviso, isso poderá causar problemas como inconsistência de dados e representar riscos para o seu negócio.

Adquira a instância.

Quando a Success Rate for 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione a especificação de link para a instância de migração de dados. Para obter mais informações, consulte a tabela a seguir.

Categoria	Parâmetro	Descrição
New Instance Class	Resource Group Settings	Selecione o grupo de recursos ao qual a instância pertence. O valor padrão é o grupo de recursos padrão. Para obter mais informações, consulte What is resource management?
New Instance Class	Instance Class	O DTS fornece especificações de migração com diferentes níveis de desempenho. A especificação do link afeta a velocidade da migração. Selecione uma especificação com base no seu cenário de negócios. Para obter mais informações, consulte Data migration link specifications.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK que aparece, clique em OK.

Visualize o progresso da tarefa de migração na página de lista de Data Migration Tasks.
Nota
- Se a tarefa de migração não incluir migração incremental, ela será interrompida automaticamente após a conclusão da migração completa. Após a interrupção da tarefa, seu Status muda para Completed.
- Se a tarefa de migração incluir migração incremental, ela não será interrompida automaticamente. A tarefa de migração incremental continua em execução. Enquanto a tarefa de migração incremental estiver em execução, o Status da tarefa será Running.

Configurações de mapeamento

Na área Selected Objects, passe o mouse sobre o nome do tópico de destino.
Clique em Edit.

Na caixa de diálogo Edit Table, configure as definições de mapeamento.