Use um nó de sincronização do DataWorks para migrar dados de uma única tabela do Hologres para o MaxCompute, garantindo armazenamento eficiente de big data e processamento de alto desempenho.
Pré-requisitos
Você criou um projeto do MaxCompute e uma instância do Hologres.
O projeto do MaxCompute e a instância do Hologres foram vinculados ao DataWorks como recursos de computação e o teste de conectividade foi aprovado.
Limitações
Apenas dados de bancos de dados internos do Hologres podem ser sincronizados com o MaxCompute.
Para ver os limites de uso de tabelas externas do Hologres no MaxCompute, consulte Tabelas externas do Hologres.
O mapeamento de tipos de dados entre MaxCompute e Hologres apresenta diferenças. Por isso, alguns tipos de dados do Hologres não podem ser sincronizados com o MaxCompute.
Configure o nó de sincronização
Na aba de configuração do nó de sincronização, defina as opções a seguir.
Selecione a origem do Hologres
Selecione e configure a tabela de origem do Hologres.
|
Parâmetro |
Descrição |
|
Source Object Type |
O valor padrão é |
|
Data Sources |
Selecione o recurso de computação do Hologres de onde deseja sincronizar os dados. |
|
Instance |
O sistema preenche automaticamente este campo com o ID da instância do Hologres. |
|
Database |
Selecione o banco de dados do Hologres que deseja sincronizar. |
|
Schema |
Selecione o schema que deseja sincronizar. |
|
Table |
Selecione o nome da tabela que deseja sincronizar. |
|
Filtration conditions |
O sistema gera automaticamente uma condição de filtro com base na tabela particionada. Modifique-a conforme necessário. Apenas os dados que atendem à condição de filtro são mantidos. Nota
Uma condição de filtro corresponde à parte de uma instrução SQL após a cláusula |
Defina o destino no MaxCompute
Configure a tabela de destino no MaxCompute.
|
Parâmetro |
Descrição |
|
|
Data Sources |
Selecione o recurso de computação do MaxCompute de destino. |
|
|
Project |
Projeto do MaxCompute correspondente à fonte de dados. O sistema preenche este valor automaticamente. |
|
|
Schema |
Selecione o schema onde deseja armazenar os dados. Este parâmetro está disponível apenas para projetos do MaxCompute com o modelo de três camadas ativado. |
|
|
Table |
Especifique um nome para a tabela interna do MaxCompute. |
|
|
Lifecycle |
Defina o ciclo de vida da tabela. O MaxCompute recupera a tabela se os dados não forem modificados dentro do período especificado. |
|
|
Field |
Synchronization Field |
Selecione os campos que deseja sincronizar e defina os tipos de dados correspondentes na tabela de destino do MaxCompute. |
|
Partition Configurations |
Especifique as colunas de partição para a tabela interna no MaxCompute. Obtenha os dados de partição de uma das seguintes fontes:
|
|
Configure a sincronização de dados
Na seção Data Synchronization Settings, configure o método de importação e as permissões de acesso à instância do Hologres.
|
Parâmetro |
Descrição |
|
Import Method |
Escolha um dos seguintes métodos de importação:
|
|
Access Hologres permissions |
Selecione um dos métodos abaixo para acessar a instância do Hologres:
|
|
Location |
Durante a sincronização, o sistema cria automaticamente uma tabela do MaxCompute com base no caminho de armazenamento externo do Hologres. Use o caminho de armazenamento padrão gerado pelo sistema ou especifique um caminho personalizado. |
Depurar o nó de sincronização
Antes de executar o nó, configure as definições de depuração.
-
Configure as propriedades para a execução de depuração.
No painel Run Configuration, à direita da aba de configuração do nó, defina o Compute Resource e o Resource Group. A tabela a seguir descreve os parâmetros.
Parâmetro
Descrição
Compute Resource
Selecione o recurso de computação do MaxCompute vinculado.
Computing Quota
Selecione a cota de computação gerada ao criar o projeto do MaxCompute ou clique em Create Computing Quota na parte inferior da lista suspensa para criar uma nova. Para mais informações, consulte Recursos de computação - Gerenciamento de cotas.
Resource Group
Selecione o grupo de recursos aprovado no teste de conectividade quando você vinculou o recurso de computação do MaxCompute.
CUs for Scheduling
Este nó usa o valor padrão de CU de agendamento. Não é necessário modificá-lo.
Parameters
Caso use variáveis no formato ${Parameter name} na condição de filtro, defina seus valores em Parameter name e Parameter Value na seção Script Parameters. Durante a execução, o sistema substitui dinamicamente essas variáveis pelos valores configurados. Para mais detalhes, consulte Configuração de agendamento de nós.
Para depurar e executar a tarefa do nó, clique em Save e, em seguida, clique em Run.
Próximos passos
Para executar o nó periodicamente, configure suas propriedades de agendamento no painel Scheduling Settings à direita. Defina a Scheduling Policy e as propriedades relacionadas. Consulte Configuração de agendamento de nós.
Para executar a tarefa no ambiente de produção, clique no ícone
para iniciar o processo de implantação. Os nós de um projeto só executam conforme o agendamento após serem implantados no ambiente de produção. Consulte Implantação de nós.
Perguntas frequentes
Incompatibilidade de tipo de campo: Se a tarefa de sincronização falhar devido a uma incompatibilidade de tipo de dados, verifique se os tipos de dados dos campos na tabela do MaxCompute estão configurados corretamente.
Dados inconsistentes em uma única partição sincronizada: Verifique se a condição de filtro da origem está configurada adequadamente.