O Data Integration oferece suporte à sincronização em tempo real de tabela única para o Hologres a partir de fontes como DataHub, Hologres, Kafka e LogHub. Uma tarefa de sincronização lê dados de uma tabela de origem no Hologres e os grava em uma tabela de destino em outra fonte de dados do Hologres. A tabela de destino é criada automaticamente com base no esquema da tabela de origem ou você pode selecionar uma tabela existente.
Limites
Os seguintes limites se aplicam à sincronização em tempo real de tabela única do Hologres para o Hologres:
A versão do Hologres deve ser V2.1 ou posterior.
Não há suporte para sincronização incremental de tabelas particionadas do Hologres.
Não há suporte para sincronização de mensagens de alteração DDL de tabelas do Hologres.
-
A sincronização incremental do Hologres aceita os seguintes tipos de dados:
INTEGERBIGINTTEXTCHAR(n)VARCHAR(n)REALJSONSERIALOIDINT4[]INT8[]FLOAT8[]BOOLEAN[]TEXT[]
Pré-requisitos
Adquira um Serverless resource group.
Crie as fontes de dados de origem e de destino do Hologres. Para obter instruções, consulte Data source configuration.
Estabeleça conectividade de rede entre o grupo de recursos e as fontes de dados. Para mais detalhes, consulte Overview of network connectivity solutions.
Ative o binlog do Hologres para a tabela de origem. Para obter instruções, consulte Subscribe to Hologres binlog.
Procedimento
Etapa 1: Selecione o tipo de tarefa de sincronização
Faça login no DataWorks console. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.
No painel de navegação à esquerda, clique em Synchronization Task. No topo da página, clique em Create Synchronization Task para abrir a página de criação de tarefas de sincronização.
-
Configure as seguintes informações básicas:
Fonte e destino de dados: Hologres → Hologres.
New Node Name: Insira um nome personalizado para a tarefa de sincronização.
Synchronization Method: Selecione Single-Table Real-Time.
Synchronization Mode: Selecione Full Sync.
Etapa 2: Configure a rede e os recursos
Na seção Network and Resource Configuration, selecione o Resource Group que a tarefa de sincronização utilizará. É possível alocar CUs de Task Resource Usage para a tarefa.
Em Source Information, selecione uma fonte de dados do Hologres existente. Em Destination, selecione uma fonte de dados do Hologres existente e clique em Test Connectivity.
Após as fontes de dados de origem e de destino passarem no teste de conectividade, clique em Next.
Etapa 3: Configure o canal de sincronização
Configure a fonte de dados de origem do Hologres
No topo da página, clique na fonte de dados Hologres e edite as Holo source information.
Na seção Holo source information, selecione o schema que contém a tabela do Hologres a ser lida e, em seguida, selecione a tabela de origem.
No canto superior direito, clique em Data Sampling. Na caixa de diálogo Output Preview, especifique o Number of Sample Records e clique em Start Sampling para amostrar dados da origem Hologres e visualizar os dados amostrados. Os dados de amostra servem de entrada para a visualização de dados e configuração de visualização dos nós subsequentes de processamento de dados.
Visualize a saída dos nós de processamento de dados
Clique no ícone 
para adicionar um método de processamento de dados. Existem cinco métodos disponíveis: data masking, string replacement, data filtering, JSON parsing e field editing and assignment. Organize esses métodos em qualquer ordem. Durante a execução da tarefa, o processamento dos dados ocorre sequencialmente conforme a ordem configurada.
Após configurar um nó de processamento de dados, clique no botão Output Preview no canto superior direito. Na caixa de diálogo exibida, clique em Retrieve Upstream Output para simular o resultado após o nó atual processar os dados amostrados do Hologres.
A visualização da saída de dados depende da Data Sampling da origem Hologres. Conclua a amostragem de dados no formulário da origem Hologres antes de executar uma visualização de saída de dados.
Configure a fonte de dados de destino do Hologres
No topo da página, clique no destino de dados Hologres e edite as Destination Information.
-
Na seção Destination Information, selecione o schema que contém a tabela do Hologres onde deseja gravar e especifique se deve criar a tabela de destino automaticamente (Create tables automatically) ou usar uma tabela existente (Use Existing Table).
Se as tabelas forem criadas automaticamente, a tabela de destino usará o mesmo nome da tabela de origem por padrão. Altere manualmente o nome da tabela de destino, se necessário.
Caso utilize uma tabela existente, selecione a tabela de destino desejada para sincronização na lista suspensa.
(Opcional) Edite a estrutura da tabela.
Ao selecionar Create tables automatically, clique no botão Edit Table Schema para editar a estrutura da tabela de destino na caixa de diálogo. Também é possível clicar em Regenerate Schema from Upstream Node para gerar automaticamente a estrutura da tabela com base nas colunas de saída do nó upstream. Na estrutura gerada, selecione uma coluna para definir como chave primária.
A tabela de destino deve ter uma chave primária. Caso contrário, não será possível salvar a configuração.
-
Defina o Job Type e a Write Conflict Policy.
-
Job Type:
Replay: Fornece espelhamento. Quando um registro é inserido na origem, um registro também é inserido no Hologres. Quando um registro é atualizado ou excluído na origem, o registro correspondente é atualizado ou excluído no Hologres.
Insert: Trata o Hologres como armazenamento de streaming. Todos os dados da origem são salvos por meio de operações INSERT.
Write Conflict Policy: Política utilizada quando ocorre um conflito de gravação de dados. Valores válidos: Overwrite e Ignore.
-
Configure o mapeamento de campos.
O sistema gera automaticamente mapeamentos entre colunas upstream e colunas de destino com base no princípio de The same name mapping. Ajuste esses mapeamentos conforme necessário. Uma única coluna upstream pode ser mapeada para várias colunas de destino, mas múltiplas colunas upstream não podem ser mapeadas para uma única coluna de destino. Se uma coluna upstream não for mapeada para uma coluna de destino, seus dados não serão gravados na tabela de destino.
4. Alertas
Para evitar que erros na tarefa causem atrasos na sincronização de dados comerciais, defina uma política de alertas para a tarefa de sincronização.
Clique em Alert Settings no canto superior direito da página para abrir a página de configurações Alert Rule Configurations for Real-time Synchronization Subnode.
-
Clique em Add Alert Rule para configurar uma regra de alerta.
NotaAs regras de alerta definidas aqui se aplicam às subtarefas de sincronização em tempo real geradas por esta tarefa. Após configurar a tarefa, visualize e modifique as regras de alerta para essas subtarefas na página Run and manage real-time synchronization tasks.
-
Gerencie as regras de alerta.
Para regras de alerta existentes, use o interruptor para ativá-las ou desativá-las. Também é possível enviar alertas para diferentes destinatários com base no nível do alerta.
5. Configurações avançadas
A tarefa de sincronização fornece diversos parâmetros modificáveis conforme necessário.
Antes de fazer alterações, certifique-se de compreender totalmente a função de cada parâmetro para evitar erros inesperados ou problemas de qualidade de dados.
Clique em advanced settings no canto superior direito da página para abrir a página de configurações avançadas.
Na página advanced settings, modifique os valores dos parâmetros conforme necessário.
6. Grupo de recursos
Clique em Configure Resource Group no canto superior direito para visualizar e alternar o grupo de recursos atual da tarefa.
7. Execução de teste
Após configurar a tarefa, clique em Dry Run no canto superior direito. Esse recurso simula toda a tarefa em uma pequena amostra de dados e permite visualizar os resultados na tabela de destino. Se houver erros de configuração, exceções de tempo de execução ou dados incorretos, você receberá mensagens de erro em tempo real. Isso ajuda a verificar rapidamente se a tarefa está configurada corretamente e se produz os resultados esperados.
Na caixa de diálogo, defina os parâmetros de amostragem: Start Time e Number of Sample Records.
Clique em Start Sampling para coletar os dados de amostra.
Clique em Preview para simular todo o processamento da tarefa usando os dados amostrados.
8. Execute a tarefa de sincronização
Após concluir todas as configurações, clique em Complete na parte inferior da página.
Na página , localize a tarefa criada e clique em Start na coluna Operations.
Clique no Name/ID da tarefa correspondente na Task List para visualizar seu processo detalhado de execução.
Inicie a tarefa de sincronização
Na página de tarefas de sincronização, clique em Start na coluna Actions para iniciar a tarefa de sincronização. Para gerenciar a tarefa e visualizar seu status de execução, consulte Manage and monitor synchronization tasks.
O&M de tarefas
Gerencie e monitore tarefas de sincronização
Na página de tarefas de sincronização, visualize a lista de tarefas de sincronização e as informações básicas de cada tarefa.
Na coluna Actions, clique em Start ou Stop para iniciar ou parar uma tarefa de sincronização. Em More, operações como Edit e View estão disponíveis.
Para uma tarefa iniciada, visualize o status básico de execução em Execution Overview e clique na área de visão geral correspondente para ver os detalhes de execução. Uma tarefa de sincronização em tempo real de tabela única do Hologres para o Hologres consiste em três etapas:
Schema Migration: Mostra como a tabela de destino é criada, seja como uma tabela existente ou por criação automática de tabela. Se as tabelas forem criadas automaticamente, o DDL de criação da tabela será exibido.
Full Data Initialization: Se você definiu o Synchronization Mode como Full Sync, o progresso da inicialização completa será exibido.
Real-time Data Synchronization: Exibe as estatísticas de desempenho da sincronização em tempo real, incluindo tráfego de leitura/gravação em tempo real, dados incorretos, failover e logs de execução.
Reexecute uma tarefa
Em casos especiais, como quando é necessário modificar campos sincronizados ou ajustar informações da tabela de destino, clique em Rerun na coluna Operations da tarefa de sincronização. Essa ação sincroniza os campos ajustados e outras alterações para o destino. O processo ignora tabelas inalteradas e previamente sincronizadas.
Para executar a tarefa novamente sem alterações, clique em Rerun.
Se você editar a tarefa, clique em Complete após fazer suas alterações. A ação da tarefa muda para Apply Updates. Clicar em Apply Updates reexecuta a tarefa com a nova configuração.