Sincronize dados de uma única tabela interna do Hologres para o MaxCompute usando um nó de sincronização do DataWorks. Esse recurso permite controlar o mapeamento de campos, a configuração de partições, o modo de gravação e as permissões de acesso, além de agendar a execução automática e recorrente da sincronização.
O que você fará
Configure a origem (tabela do Hologres) e o destino (tabela do MaxCompute).
Defina o mapeamento de campos, a configuração de partições e o modo de gravação.
Configure as permissões de acesso ao Hologres.
Execute e depure o nó.
Agende o nó e implante-o no ambiente de produção.
Pré-requisitos
Antes de começar, verifique se você tem:
Um projeto do MaxCompute e uma instância do Hologres. Consulte Criar um projeto do MaxCompute e Comprar uma instância do Hologres.
O projeto do MaxCompute e a instância do Hologres associados ao workspace como recursos de computação, com teste de conectividade de rede aprovado. Consulte Associar um recurso de computação.
Um nó de sincronização criado em um fluxo de trabalho agendado. Consulte Criar um nó para um fluxo de trabalho agendado.
Limitações
Somente é possível sincronizar dados de bancos de dados internos do Hologres para o MaxCompute. Não há suporte para bancos de dados externos.
Para saber os limites das tabelas externas do Hologres no MaxCompute, consulte Tabelas externas do Hologres.
O MaxCompute e o Hologres usam tipos de dados diferentes. Verifique os mapeamentos antes de configurar os campos. Consulte Mapeamento de tipos de dados entre MaxCompute e Hologres.
Configurar o nó de sincronização
Abra a aba de configuração do nó de sincronização e defina as seções abaixo.
Configurar a origem
|
Parâmetro |
Descrição |
|
Source Object Type |
Fixo como |
|
Data Source |
Recurso de computação do Hologres usado para leitura dos dados. |
|
Instance |
ID da instância do Hologres. Preenchido automaticamente e somente leitura. |
|
Database |
Banco de dados do Hologres de onde os dados serão lidos. |
|
Schema |
Schema do Hologres de onde os dados serão lidos. |
|
Table |
Tabela do Hologres de onde os dados serão lidos. |
|
Filter Conditions |
Cláusula SQL |
A condição de filtro corresponde ao conteúdo após a cláusula WHERE em uma instrução SQL.
Configurar o destino
|
Parâmetro |
Descrição |
|
Data Source |
Recurso de computação do MaxCompute usado para gravar os dados. |
|
Project |
Projeto do MaxCompute. Preenchido automaticamente com base no recurso de computação. |
|
Schema |
Schema do MaxCompute para armazenar os dados. Obrigatório apenas se o recurso de schema estiver habilitado no projeto do MaxCompute; caso contrário, fica oculto. Consulte Habilitar o recurso. |
|
Table |
Tabela interna do MaxCompute onde os dados serão gravados. |
|
Lifecycle |
Período de retenção da tabela interna do MaxCompute. Se os dados não forem alterados nesse período após a última atualização, o MaxCompute recupera a tabela automaticamente. |
|
Synchronization Fields |
Campos a sincronizar e seus respectivos tipos de dados na tabela do MaxCompute. Selecione os campos e configure os tipos conforme necessário. |
|
Partition Configurations |
Origem dos dados para a coluna de chave de partição. Field in Hologres usa um campo específico da tabela do Hologres. Scheduling Variable usa uma variável definida no nó de sincronização. |
Configurar definições de sincronização de dados
|
Parâmetro |
Descrição |
|
Import Method |
Define como gravar os dados na tabela de destino. Escolha conforme o caso de uso: Overwrite exclui todos os dados existentes antes da gravação. Use para atualizações completas em que o destino deve sempre refletir o snapshot mais recente da origem. Append mantém os dados existentes e adiciona novas linhas. Use para cargas incrementais ou quando for necessário acumular registros históricos. |
|
Permissions to Access Hologres |
Identidade usada para acessar o Hologres durante a sincronização. Dual-signature usa a identidade atual, que precisa ter permissão de leitura na tabela do MaxCompute e permissões na tabela mapeada do Hologres. Consulte Guia do usuário da Solução Data Lakehouse 2.0 e Visão geral do gerenciamento de permissões. RamRole usa uma função do RAM específica. Anexe a política AliyunSTSAssumeRoleAccess à função e defina o parâmetro RoleARN. Consulte Modo de autorização de função do RAM. |
|
Location |
Caminho de armazenamento externo do Hologres usado para gerar a tabela do MaxCompute durante a sincronização. O sistema gera um caminho automaticamente. Personalize se necessário. |
Executar e depurar o nó
-
No painel de navegação à direita da aba de configuração, clique em Run Configuration e defina os seguintes parâmetros.
Parâmetro
Descrição
Computing Resource
Recurso de computação do MaxCompute associado ao workspace.
Computing Quota
Cota de computação para esta execução. Selecione uma cota existente ou clique em Create Computing Quota na lista suspensa para criar uma nova. Consulte Gerenciar cotas de computação.
Resource Group
Grupo de recursos aprovado no teste de conectividade ao associar o recurso de computação do MaxCompute ao workspace.
CUs for Computing
Mantenha o valor padrão.
Script Parameters
Se a condição de filtro incluir variáveis no formato
${Parameter name}, defina aqui o Parameter Name e o Parameter Value. O nó substitui as variáveis pelos valores reais durante a execução. Consulte Configurar agendamento de nó. Clique em Save e, em seguida, em Run.
Após o êxito da execução de depuração, implante o nó no ambiente de produção para habilitar a execução agendada.
Solução de problemas
Incompatibilidade de tipo de campo
Se o nó falhar por incompatibilidade de tipo de campo, verifique se os tipos de dados dos campos na tabela do MaxCompute estão configurados corretamente. Consulte Mapeamento de tipos de dados entre MaxCompute e Hologres.
Dados sincronizados não correspondem ao filtro de partição
Se os dados sincronizados não corresponderem à partição esperada, verifique se as Filter Conditions na configuração de origem estão definidas corretamente.
Próximos passos
Configurar agendamento de nó: Clique em Scheduling no painel de navegação à direita e configure a seção Scheduling Policies para executar o nó periodicamente.
Implantação de nó: Clique no ícone
na barra de ferramentas superior para implantar o nó no ambiente de produção. Os nós só executam conforme o agendamento após a implantação.