Data Transmission Service:Sincronizar Db2 for LUW com um cluster Kafka auto-gerenciado

Pré-requisitos

• Crie um cluster Kafka auto-gerenciado de destino.

  Nota

  Para verificar as versões compatíveis dos bancos de dados de origem e de destino, consulte synchronization solution overview.

• Se a sincronização completa de dados for necessária, o banco de dados de destino deve ter mais espaço de armazenamento que o banco de dados de origem.

Limitações

Faturamento

Topologias de sincronização

• Sincronização unidirecional um para um

• Sincronização unidirecional um para muitos

• Sincronização em cascata unidirecional

• Sincronização unidirecional muitos para um

Para obter detalhes sobre as topologias de sincronização, consulte Data Synchronization Topologies.

Operações SQL suportadas

Pré-requisitos

• Crie uma conta e conceda as permissões necessárias.

  Banco de dados	Permissões necessárias	Ações
  Db2 for LUW	Permissões DBADM	Creating group and user IDs for a Db2 database installation

• Ative o recurso de arquivamento de logs para o banco de dados Db2 for LUW. Para mais informações, consulte logarchmeth1 - Primary log archive method configuration parameter e logarchmeth2 - Secondary log archive method configuration parameter.

Procedimento

1. Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos dois métodos abaixo:

   Pelo console do DTS

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em Data Synchronization.

   3. No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.

   Pelo console do DMS

   Nota

   As operações reais podem variar dependendo do modo e do layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.

   1. Faça login no Data Management (DMS).

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.

2. Clique em Create Task para abrir a página de configuração da tarefa.

3. Configure os bancos de dados de origem e de destino.

   Categoria	Parâmetro	Descrição
   N/A	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
   Source Database	Select Existing Connection	Para usar uma instância de banco de dados added to the system (recém-criada ou salva), selecione-a na lista suspensa. As informações do banco serão configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância ao sistema ou não precise usar uma instância já adicionada, configure manualmente as informações do banco de dados a seguir.
   	Database Type	Selecione DB2 for LUW.
   	Connection Type	Escolha o tipo de conexão conforme o local de implantação do banco de origem. Neste exemplo, usa-se Self-managed Database on ECS. Nota Se a instância de origem for um banco de dados auto-gerenciado, conclua os preparativos necessários. Para mais informações, consulte Preparation overview.
   	Instance Region	Selecione a região onde o banco de dados Db2 for LUW está localizado.
   	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa uma instância de banco de dados pertencente à conta atual do Alibaba Cloud. Selecione No.
   	ECS Instance ID	Insira o ID da instância ECS que hospeda o banco de dados DB2 for LUW.
   	Port	Insira a porta de service do banco de dados Db2 for LUW. A porta padrão é 50000.
   	Database Name	Insira o nome do banco de dados Db2 for LUW que contém os objetos a serem sincronizados.
   	Database Account	Insira a conta do banco de dados Db2 for LUW. Para informações sobre as permissões necessárias, consulte Create an account and grant permissions.
   	Database Password	Insira a senha correspondente à conta do banco de dados.
   Destination Database	Select Existing Connection	Para usar uma instância de banco de dados added to the system (recém-criada ou salva), selecione-a na lista suspensa. As informações do banco serão configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância ao sistema ou não precise usar uma instância já adicionada, configure manualmente as informações do banco de dados a seguir.
   	Database Type	Selecione Kafka.
   	Connection Type	Escolha o tipo de conexão conforme o local de implantação do banco de destino. Neste exemplo, usa-se Self-managed Database on ECS. Nota Se a instância de destino for um banco de dados auto-gerenciado, conclua os preparativos necessários. Para mais informações, consulte Preparation overview.
   	Instance Region	Selecione a região onde o cluster Kafka de destino está implantado.
   	ECS Instance ID	Selecione o ID da instância ECS onde o cluster Kafka está implantado. Nota Se a instância Kafka estiver implantada como cluster, selecione o ID da instância ECS de qualquer nó. O DTS recupera automaticamente as informações de tópico de todos os nós do cluster.
   	Port	Insira a porta de service do cluster Kafka auto-gerenciado. A porta padrão é 9092.
   	Database Account	Insira o nome de usuário do cluster Kafka auto-gerenciado. Se a autenticação estiver desativada, deixe este parâmetro vazio.
   	Database Password	Insira a senha da conta do banco de dados. Se a autenticação estiver desativada, deixe este parâmetro vazio.
   	Kafka Version	Selecione a versão do seu cluster Kafka auto-gerenciado.
   	Encryption	Selecione Non-encrypted ou SCRAM-SHA-256 conforme seus requisitos de negócios e segurança.
   	Topic	Selecione o tópico no qual os dados serão gravados.
   	Use Kafka Schema Registry	O Kafka Schema Registry oferece uma interface RESTful para armazenar e recuperar esquemas Avro. No: Não usar o Kafka Schema Registry. Yes: Usar o Kafka Schema Registry. É necessário inserir a URL ou o endereço IP registrado no Kafka Schema Registry para o seu esquema Avro.

4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página. Na caixa de diálogo CIDR Blocks of DTS Servers, clique em Test Connectivity.

   Nota

   Certifique-se de que os blocos CIDR de endereços IP dos servidores DTS estejam adicionados às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso. Isso pode ser feito automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

5. Configure os objetos da tarefa.

   1. Na página Configure Objects, configure os objetos a serem sincronizados.

      Parâmetro	Descrição
      Synchronization Types	Os tipos de sincronização. Por padrão, Incremental Data Synchronization vem selecionado. Selecione também Schema Synchronization e Full Data Synchronization. Após a pré-verificação, o DTS sincroniza os dados históricos dos objetos selecionados da origem para o cluster de destino. Esses dados históricos servem de base para a sincronização incremental subsequente.
      Processing Mode of Conflicting Tables	Precheck and Report Errors: O DTS verifica se existem tabelas com o mesmo nome no banco de destino. Se encontrar correspondência, a pré-verificação falha e a tarefa não inicia. Caso contrário, a verificação é aprovada. Nota Se não for fácil excluir ou renomear a tabela conflitante no destino, mapeie a tabela para um nome diferente. Para mais informações, consulte Map table and column names. Ignore Errors and Proceed: Ignora a verificação de tabelas com o mesmo nome no banco de destino. Aviso Ao selecionar Ignore Errors and Proceed, pode ocorrer inconsistência de dados, o que representa riscos ao seu negócio. Por exemplo: Se os esquemas das tabelas forem consistentes e o banco de destino tiver um registro com o mesmo valor de chave primária de um registro na origem: Durante a sincronização completa, o DTS não sobrescreve o registro existente no destino. O registro correspondente da origem é ignorado. Durante a sincronização incremental, o registro da origem sobrescreve o registro existente no destino. Se os esquemas das tabelas forem inconsistentes, a tarefa pode falhar ou apenas dados parciais podem ser sincronizados.
      Data Format in Kafka	Selecione o formato de dados para entrega no Kafka. Para mais informações, consulte Data storage formats in message queues.
      Kafka Data Compression Format	Selecione o formato de compressão para mensagens do Kafka conforme suas necessidades de negócio. LZ4 (padrão): Baixa taxa de compressão, mas alta velocidade. GZIP: Alta taxa de compressão, mas baixa velocidade. Nota Alto consumo de CPU. Snappy: Taxa e velocidade de compressão médias.
      Policy for Shipping Data to Kafka Partitions	Selecione uma strategy conforme suas necessidades de negócio.
      Message acknowledgement mechanism	Selecione um message acknowledgment mechanism conforme suas necessidades de negócio.
      Topic That Stores DDL Information	Selecione na lista suspensa o tópico destinado a armazenar informações DDL. Nota Se não especificado, as informações DDL serão armazenadas, por padrão, no tópico que recebe os dados.
      Capitalization of Object Names in Destination Instance	Configure a política de diferenciação de maiúsculas e minúsculas para nomes de objetos de banco de dados, tabelas e colunas sincronizados na instância de destino. Por padrão, a DTS default policy está selecionada. Também é possível optar pelas políticas padrão dos bancos de origem e destino. Para mais informações, consulte Case sensitivity policy for destination object names.
      Source Objects	Na caixa Source Objects, clique em um objeto para sincronizar e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota É possível selecionar bancos de dados, tabelas e colunas como objetos de sincronização. Se selecionar tabelas ou colunas, outros objetos como visualizações, gatilhos e procedimentos armazenados não serão sincronizados com o banco de destino.
      Selected Objects	Nenhuma configuração adicional é necessária neste exemplo. Use o recurso de mapeamento para definir o nome do tópico, a contagem de partições e a chave de partição da tabela de origem na instância Kafka de destino. Para mais informações, consulte Mapping information. Nota O mapeamento de nomes de objetos pode causar falha na sincronização de objetos dependentes. Para selecionar operações SQL específicas para a sincronização incremental, clique com o botão direito em um objeto na caixa Selected Objects e escolha as operações no menu de atalho.

   2. Clique em Next: Advanced Settings para configurar os parâmetros avançados.

      Parâmetro	Descrição
      Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado, sem necessidade de seleção. Para obter um desempenho mais estável, adquira um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
      Retry Time for Failed Connections	Após o início da tarefa de sincronização, se a conexão com o banco de origem ou destino falhar, o DTS reportará um erro e iniciará imediatamente novas tentativas. A duração padrão de tentativa é de 720 minutos. Você também pode definir uma duração personalizada entre 10 e 1.440 minutos. Recomendamos configurar pelo menos 30 minutos. Se o DTS reconectar com sucesso dentro do período definido, a tarefa será retomada automaticamente. Caso contrário, ela falhará. Nota Se houver múltiplas instâncias DTS (por exemplo, Instância A e Instância B) compartilhando a mesma origem ou destino, e o tempo de nova tentativa de rede for definido como 30 minutos para a Instância A e 60 minutos para a Instância B, a menor duração (30 minutos) será aplicada a ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração conforme suas necessidades ou liberar a instância DTS assim que possível após a liberação das instâncias de banco de dados de origem e destino.
      Retry Time for Other Issues	Após o início da tarefa, se ocorrerem outros problemas não relacionados à conexão nos bancos de origem ou destino (como exceções na execução de DDL ou DML), o DTS reportará um erro e iniciará tentativas contínuas. A duração padrão é de 10 minutos. É possível personalizar esse valor entre 1 e 1.440 minutos. Recomendamos definir pelo menos 10 minutos. Se as operações relevantes forem bem-sucedidas dentro do período configurado, a tarefa será retomada automaticamente. Caso contrário, ela falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Durante a fase de sincronização completa, o DTS consome recursos de leitura e escrita dos bancos de origem e destino, o que pode aumentar a carga. Para reduzir essa carga, defina um limite de taxa para a tarefa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando Synchronization Types estiver definido como Full Data Synchronization. Também é possível adjust the full synchronization rate após a instância de sincronização estar em execução.
      Enable Throttling for Incremental Data Synchronization	Também é possível definir um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de destino, configure RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Selecione uma tag de ambiente para identificar a instância. Nenhuma seleção é necessária para este exemplo.
      Configure ETL	Decida se deseja ativar o recurso de extração, transformação e carregamento (ETL). Para mais informações, consulte What is ETL? Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
      Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar definido, uma notificação será enviada a um contato de alerta. No: Nenhum alerta configurado. Yes: Configure alertas definindo um limiar e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

6. Salve a tarefa e execute uma pré-verificação.

   • Para visualizar os parâmetros da API referentes à configuração desta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão exibido.

   • Após terminar de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • Antes do início do trabalho de sincronização, o DTS executa uma pré-verificação. O trabalho só começa após a aprovação de todos os itens.

   • Se a pré-verificação falhar, clique em View Details referente ao item com falha. Corrija o problema conforme indicado e execute a pré-verificação novamente.

   • Se a pré-verificação retornar um aviso:

     • Caso um item de verificação falhe e não possa ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.

     • Para itens de verificação que podem ser ignorados, clique sequencialmente em Confirm Alert Details, Ignore, OK e Precheck Again para pular o aviso e reexecutar a pré-verificação. Optar por suprimir o item de aviso pode causar problemas como inconsistência de dados e representar riscos ao seu negócio.

7. Adquira a instância.

   1. Quando a Success Rate for de 100%, clique em Next: Purchase Instance.

   2. Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. A tabela a seguir detalha esses parâmetros.

      Categoria	Parâmetro	Descrição
      New Instance Class	Método de faturamento	Assinatura: Pagamento realizado na criação da instância. Adequado para necessidades de longo prazo e mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: Cobrança horária. Ideal para necessidades de curto prazo. Libere a instância logo após o uso para economizar custos.
      	Configuração do grupo de recursos	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão. Para mais informações, consulte What is Resource Management?.
      	Especificação de link	O DTS oferece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de transferência. Escolha uma especificação adequada ao seu cenário de negócios. Para mais informações, consulte Data synchronization link specifications.
      	Duração da assinatura	No modo de assinatura, selecione a duração e a quantidade para a instância. É possível escolher uma assinatura mensal de 1 a 9 meses ou anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento for Subscription.

   3. Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

      Acompanhe o progresso da tarefa na página Data Synchronization.

Mapeamentos

1. Na área Selected Objects, passe o mouse sobre o nome do tópico de destino.

2. Clique no botão Edit que aparece ao lado do nome do tópico de destino.

3. Na caixa de diálogo Edit Table, configure as definições de mapeamento.

   Nota

   • A caixa de diálogo Edit Schema refere-se a configurações no nível do banco de dados e possui menos parâmetros configuráveis que a caixa Edit Table, voltada para configurações no nível da tabela.

   • Se você não estiver sincronizando um banco de dados inteiro, não poderá modificar os parâmetros Name of target Topic e Number of Partitions na caixa de diálogo Edit Schema.

   Parâmetro	Descrição
   Name of target Topic	O tópico de destino onde o DTS grava os dados da tabela de origem. Por padrão, trata-se do Topic selecionado na seção Destination Database durante a etapa de Configurations for Source and Destination Databases. Importante Se o banco de destino for uma instância Alibaba Cloud Message Queue for Apache Kafka, o tópico especificado deve existir nessa instância. Caso contrário, a tarefa de sincronização falhará. Se o destino for um banco Kafka auto-gerenciado e a instância de sincronização incluir uma tarefa de sincronização de esquema, o DTS tentará criar o tópico especificado no banco de destino. Se você alterar o Name of target Topic, o DTS gravará os dados no novo tópico.
   Filter Conditions	Para mais informações, consulte Set Filter Conditions.
   Number of Partitions	O número de partições no tópico de destino.
   Partition Key	Este parâmetro fica disponível quando Policy for Shipping Data to Kafka Partitions estiver definido como Ship Data to Separate Partitions Based on Hash Values of Primary Keys. Selecione uma ou mais colunas como chave de partição. O DTS calcula um valor de hash com base nessa chave e distribui as linhas pelas partições do tópico de destino. Nota A seleção da Partition Key só é possível na caixa de diálogo Edit Table.

4. Clique em OK.

Perguntas frequentes

• É possível modificar o Kafka Data Compression Format?

  Sim. Use o recurso Modify synchronization objects para modificá-lo.

• É possível modificar o Message acknowledgement mechanism?

  Sim. Use o recurso Modify synchronization objects para modificá-lo.