Este tópico descreve como usar a integração de dados do DataWorks para sincronizar dados de um banco de dados para o Hologres em tempo real.
Quando seu banco de dados de origem (como MySQL, Oracle ou PolarDB) precisa alimentar um ambiente analítico do Hologres com dados atualizados, a integração de dados do DataWorks oferece três métodos de sincronização em tempo real. Escolha o método adequado ao seu caso de uso e configure a source, o destino e a tarefa nessa ordem.
Pré-requisitos
Antes de começar, verifique se você:
Ativou o DataWorks. Consulte Overview
Ativou o ApsaraDB com sucesso
Verificou a conectividade de rede, caso planeje sincronizar entre regiões. Consulte Network connectivity solutions
Informações de fundo
O Hologres é um product de análise interativa em tempo real. Ele se conecta perfeitamente ao ecossistema de big data e se integra profundamente ao DataWorks, uma plataforma inteligente de P&D. Essa integração permite consulta e análise de dados com alta concorrência e baixa latência. Os bancos de dados comuns que suportam sincronização de dados em tempo real incluem MySQL, PolarDB e PolarDB for MySQL. É possível sincronizar o Oracle para o Hologres usando a sincronização em tempo real de banco de dados completo ou uma solução de sincronização, mas a sincronização em tempo real de tabela única não é suportada para Oracle. Para sincronizar dados de tabelas específicas do Oracle para o Hologres em tempo real, crie uma tarefa de sincronização em tempo real de banco de dados completo e selecione apenas as tabelas necessárias.
Configure a sincronização em tempo real
A configuração envolve três etapas:
Configure a fonte de dados de origem.
Configure a fonte de dados de destino do Hologres.
Escolha um método de sincronização e configure a tarefa.
Etapa 1: Configure a source
Configure o banco de dados de onde deseja sincronizar os dados. Por exemplo, para sincronizar a partir do MySQL, adicione uma fonte de dados MySQL no DataWorks. Consulte Configure a data source para obter instruções passo a passo.
Etapa 2: Configure o destino do Hologres
A fonte de dados do Hologres deve usar um grupo de recursos exclusivo para integração de dados.
Adicione o Hologres como a fonte de dados de destino. Consulte Configure a Hologres data source.
Etapa 3: Escolha um método de sincronização e configure a tarefa
A integração de dados do DataWorks oferece três métodos de sincronização em tempo real. Use a tabela a seguir para escolher aquele que melhor se adapta ao seu caso de uso.
|
Método de sincronização |
Quando usar |
Fontes suportadas |
Guia da source de dados |
Guia da tarefa |
|
Sincronização em tempo real de tabela única |
Sincronize alterações incrementais de tabelas selecionadas |
Binary logging do MySQL, DataHub, LogHub, Kafka, PolarDB, SQL Server |
Configure real-time synchronization of incremental data from a single table |
|
|
Sincronização em tempo real de banco de dados completo |
Sincronize alterações incrementais de todas as tabelas do banco de dados de origem |
PolarDB for MySQL, PolarDB, MySQL, Oracle |
||
|
Solução de sincronização |
Gerencie múltiplos cenários de sincronização em um único pipeline, com migração para cloud em um clique — carga inicial completa, gravações incrementais em tempo real e mesclagens agendadas em partições de tabela completa |
PolarDB for MySQL, Oracle, MySQL, PolarDB-X, PostgreSQL |
PolarDB source, Oracle source, MySQL source, PolarDB-X environment, PostgreSQL environment |
One-click real-time synchronization to Hologres, Add or remove sync tables from a running task, O&M for full and incremental sync tasks |
Para adicionar campos extras à tabela de destino do Hologres — por exemplo, um campo update_time — consulte Configure and gerencie a real-time sync task .