Sincronização de dados do nó MaxCompute - DataWorks: Central de Documentação do Alibaba Cloud

Contexto

Para sincronizar dados do MaxCompute com o Hologres, crie primeiro uma tabela externa no Hologres. Essa tabela externa vincula a tabela de origem do MaxCompute a uma tabela interna do Hologres, e a sincronização dos dados ocorre por meio desse vínculo. O esquema da tabela externa deve corresponder ao da tabela de origem do MaxCompute. Também é possível usar instruções SQL para importar dados do MaxCompute para o Hologres. Para mais informações, consulte Import data from MaxCompute by using SQL.

Importar dados do MaxCompute para o Hologres oferece melhor desempenho do que consultar dados por meio de uma tabela externa. Para mais informações sobre como criar uma tabela externa para consultar dados do MaxCompute, consulte One-click MaxCompute table schema synchronization node.

Nota

As operações descritas neste tópico usam a região China (Shanghai) como exemplo. A interface do usuário pode variar em outras regiões.

Pré-requisitos

Criar um nó de sincronização de dados de tabela

Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Crie um Workflow.

Se você já tem um Workflow, pule esta etapa.
1. Passe o mouse sobre o ícone e selecione Create Workflow.
2. Na caixa de diálogo Create Workflow, insira um Workflow Name.
3. Clique em Create.
Crie um nó Data Synchronization from MaxCompute.
1. Passe o mouse sobre o ícone e selecione Create Node > Hologres > Data Synchronization from MaxCompute.
  
  Como alternativa, localize o workflow desejado, clique com o botão direito e selecione Create Node > Hologres > Data Synchronization from MaxCompute.
2. Na caixa de diálogo Create Node, insira um Name, selecione uma Engine Instance, um Node Type e um Path.
3. Clique em OK para acessar a página de edição do nó.

Configure o nó.

Na página de edição do nó, configure a tabela de origem do MaxCompute, a tabela de destino, a política de sincronização e o código SQL.

A página de configuração contém as seguintes seções: Hologres Target Data Source Settings (selecione uma Data Source e um Database), MaxCompute Source Table Selection (selecione External Table Source como uma nova tabela externa ou uma tabela externa existente e especifique o External Server, MaxCompute Project, MaxCompute Schema, MaxCompute Table Name e Filter Condition), Hologres Target Table Settings (configure o Schema, Table Name e Table Description), Import GUC Parameter Settings (no formato set <GUC>=<values>;, com múltiplos parâmetros em linhas separadas) e Synchronization Settings (que inclui as abas Synchronization Field, Partition Configurations e Index Configuration).

Configure as informações da tabela de origem.

Defina a tabela do MaxCompute de onde os dados serão sincronizados. Uma tabela externa do Hologres mapeia os dados da tabela de origem do MaxCompute.

Parâmetro	Descrição
Data Source	Instância do Hologres onde reside a tabela externa do Hologres.
Database	Banco de dados na instância do Hologres onde a tabela externa está armazenada.

Seleção da tabela de origem do MaxCompute.

Parâmetro

Descrição

Source of External Table

Origem da tabela externa do Hologres. A tabela externa serve como vínculo entre a tabela de origem do MaxCompute e a tabela interna do Hologres para sincronizar os dados da tabela de origem do MaxCompute.

Existing External Table: Selecione esta opção se a tabela externa para sincronizar dados com a tabela interna já existir. É necessário selecionar o esquema e o nome da tabela externa existente.
Create External Table: O nó Data Synchronization from MaxCompute requer uma tabela externa do Hologres para acelerar consultas nos dados da tabela do MaxCompute. Caso ainda não tenha criado uma tabela externa do Hologres, selecione esta opção.

Esta opção exige a configuração do servidor para a nova tabela externa, além do nome do projeto e do nome da tabela do MaxCompute.

Nota
É possível utilizar diretamente o servidor externo odps_server já criado no Hologres. Para mais informações sobre o mecanismo subjacente, consulte postgres_fdw.

Configure as definições da tabela de destino no Hologres.

Crie uma tabela interna do Hologres para armazenar os dados do MaxCompute.

Parâmetro	Descrição
Schema	`Schema` ao qual a tabela interna do Hologres pertence.
Table Name	Nome da tabela interna do Hologres. Ao criar uma tabela interna, caso já exista uma tabela com o mesmo nome, o sistema a trata da seguinte forma, dependendo do tipo: Tabela não particionada: A tabela interna existente e seus dados são excluídos, e o Hologres cria uma nova tabela. Tabela particionada: A tabela existente e seus dados não são excluídos. O Hologres cria novas tabelas de partição filhas com base nos valores de partição e importa os dados. Nota Se o esquema da nova tabela for diferente do esquema da tabela existente, o sistema retornará um erro.
Table Description	Descrição da tabela interna do Hologres.

Configure a política de sincronização.

Defina a política para sincronizar os dados da tabela do MaxCompute.

Aba	Descrição
Synchronization Field	Selecione as colunas da tabela do MaxCompute a serem sincronizadas.
Partition Configurations	Escolha as partições da tabela do MaxCompute para sincronização. Nota Atualmente, o Hologres suporta apenas a sincronização de partições de primeiro nível. Partições multinível nas tabelas do MaxCompute são definidas como partições de primeiro nível no Hologres, e as partições restantes são mapeadas automaticamente para colunas regulares no Hologres.
Index Configuration	Crie índices para a tabela interna do Hologres que armazena dados do MaxCompute. Posteriormente, utilize esses índices para consultar dados rapidamente. Para mais informações sobre criação de índices, consulte Set up table indexes.

Gere o script SQL.
O DataWorks analisa automaticamente a configuração de sincronização e gera instruções SQL para a tarefa atual. Use essas instruções na página de edição de código do Hologres para executar a tarefa de sincronização via SQL.
Nota
- Não é possível editar o script SQL gerado. Quando a configuração da tarefa de sincronização for atualizada, atualize o script SQL para gerar novas instruções SQL.
- Para mais informações sobre como executar uma tarefa de sincronização usando SQL, consulte Import data from MaxCompute by using SQL.

Configure as propriedades de agendamento da tarefa.
Para executar o nó periodicamente, clique em Scheduling no painel à direita e configure suas propriedades de agendamento:
- Defina as propriedades básicas de agendamento da tarefa. Para mais informações, consulte Configure basic properties.
- Especifique o ciclo de agendamento, as propriedades de reexecução e as dependências. Para mais detalhes, consulte Configure time properties e Configure same-cycle scheduling dependencies.
  
  Nota
  Defina o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.
- Configure as propriedades de recursos. Para mais informações, consulte Configure resource properties. Para acessar uma fonte de dados MySQL pela internet pública ou por uma VPC, selecione um grupo de recursos para agendamento que tenha conectividade de rede com a fonte de dados MySQL. Para mais detalhes, consulte Network connectivity solutions.
Salve e execute o nó.
1. Na barra de ferramentas da página de edição do nó, clique no ícone para salvar a configuração do nó.
2. Na barra de ferramentas da página de edição do nó, clique no ícone para sincronizar os dados do MaxCompute.
Se você usa um workspace no modo padrão, após enviar a tarefa, clique em Deploy Task no lado esquerdo da barra de ferramentas superior para implantar a tarefa no ambiente de produção. Para mais informações, consulte Deploy nodes.
Visualize as tarefas agendadas.
1. No canto superior direito do editor, clique em O&M Personnel para abrir o Operation Center do ambiente de produção.
2. Verifique as tarefas agendadas em execução. Para mais informações, consulte Manage scheduled tasks.
Para visualizar mais detalhes sobre as tarefas agendadas, clique em Operation Center na barra de menu superior. Para mais informações, consulte Operation Center overview.

Próxima etapa

Após concluir a sincronização, acesse a página Table Management do DataWorks para visualizar os detalhes dos dados. Para mais informações, consulte Manage tables. Você também pode usar o HoloWeb no Hologres para consultar dados do MaxCompute. Para mais informações, consulte Query data by using HoloWeb.