DataWorks:Sincronização de schema do MaxCompute

Contexto

O Hologres é um serviço de data warehouse em tempo real de ponta a ponta desenvolvido pela Alibaba Cloud. Ele se integra perfeitamente ao MaxCompute e acelera consultas em dados do MaxCompute por meio de tabelas externas.

O DataWorks oferece uma interface visual para sincronizar schemas do MaxCompute com o Hologres usando a instrução IMPORT FOREIGN SCHEMA.

Pré-requisitos

• Um recurso de computação do MaxCompute vinculado.

• Um recurso de computação do Hologres vinculado.

Limitações

Este recurso suporta consultas aceleradas apenas para dados em tabelas internas do MaxCompute. Não há suporte para consultas aceleradas em dados de tabelas externas ou views do MaxCompute.

Acesse a página de sincronização de schema

1. Acesse a página Data Studio.

   Faça login no console do DataWorks. Na região de destino, clique em Data Integration > Data Integration no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.

2. Crie um Workflow.

   Se você já tem um Workflow, pule esta etapa.

   1. Passe o mouse sobre o ícone e selecione Create Workflow.

   2. Na caixa de diálogo Create Workflow, insira um Workflow Name.

   3. Clique em Create.

3. Crie um nó Schema Synchronization from MaxCompute.

   1. Passe o mouse sobre o ícone e escolha Create Node > Hologres > Schema Synchronization from MaxCompute.

      Como alternativa, localize o workflow desejado, clique com o botão direito nele e escolha Create Node > Hologres > Schema Synchronization from MaxCompute.

   2. Na caixa de diálogo Create Node, insira um Name, selecione uma Compute Engine Instance, o Node Type e o Path.

   3. Clique em OK para acessar a página de configuração do nó.

Configure o nó de sincronização de schema

1. Configure o nó.

   Na página de configuração do nó, defina as informações de conexão da instância Hologres de destino, as tabelas source do MaxCompute e as políticas para tratamento de conflitos durante a criação das tabelas. A página divide-se em três partes: ① Informações de destino: Defina a conexão de destino, o banco de dados de destino e o schema. Clique em table management para acessar a página de gerenciamento. ② Source (Criação em lote de tabelas com base nos seguintes dados): Defina Type como MaxCompute, configure a lista de servidores e o projeto source; selecione All Tables in Database ou Selected Tables como método de aceleração. ③ Opções avançadas: Configure políticas para lidar com conflitos de nomes de tabela e tipos de dados não suportados.

   1. Configure as informações de destino.

      Especifique a instância Hologres onde criar as tabelas externas.

      Parâmetro	Descrição
      Destination Name	Nome da instância Hologres.
      Destination Database	Nome do banco de dados na instância Hologres.
      Schema	Nome do schema no banco de dados Hologres. O valor padrão é public.

   2. Configure as informações de source.

      Indique as tabelas source do MaxCompute cujos schemas deseja replicar.

      Parâmetro	Descrição
      Type	Atualmente, apenas tabelas source do MaxCompute são suportadas.
      Servers	Servidor onde as tabelas source estão localizadas. É possível chamar diretamente o servidor externo odps_server, já criado na camada subjacente do Hologres. Para mais detalhes sobre os princípios, consulte postgres_fdw.
      Source Project	Nome do projeto onde as tabelas source estão localizadas.
      Select Tables for Query Acceleration	Selecione as tabelas source para criar as tabelas externas. All Tables in Database: Cria tabelas externas para todas as tabelas do banco de dados selecionado. Selected Tables: Permite selecionar tabelas específicas do banco de dados. Pesquise tabelas pelo nome. Nota A pesquisa retorna todas as tabelas cujos nomes contêm a palavra-chave informada.

   3. Configure as políticas de conflito.

      Defina as políticas para tratar conflitos durante a criação das tabelas externas.

      Parâmetro	Descrição
      Action for Table Name Conflicts	Define o comportamento caso já exista uma tabela com o mesmo nome no Hologres. Opções disponíveis: Ignore, continue creating other tables. Update, modify the table with the same name. Report error, do not create duplicate table.
      Data type not supported	Determina como lidar com tipos de dados na tabela source incompatíveis com o Hologres. Opções disponíveis: Report error, import fails: Falha na criação da tabela. Ignore, skip unsupported fields: Cria a tabela sem os campos não suportados.

2. Salve e execute o nó.

   1. Na barra de menu superior da página de configuração do nó, clique no ícone para salvar a configuração.

   2. Na barra de menu superior da página de configuração do nó, clique no ícone para criar as tabelas externas em lote.

Próximas etapas

Após criar as tabelas externas, acesse a página Table Management no DataWorks para visualizar as novas tabelas. Para mais informações, consulte Gerenciamento de tabelas. Também é possível usar comandos do Hologres para executar consultas aceleradas em dados do MaxCompute. Para mais detalhes, consulte Acelerar consultas em dados do MaxCompute com base em tabela externa.