DataWorks:Criar uma tabela externa do Hologres

Pré-requisitos

• Adicione um recurso de computação do Hologres ao seu workspace e associe-o ao Data Studio. Para mais informações, consulte Data Studio (legacy): Associate a Hologres computing resource.

• Tenha a função de Workspace Administrator ou Development. Para mais detalhes sobre como conceder funções, consulte Manage permissions on workspace-level services.

Informações básicas

O Hologres oferece dois tipos de tabelas: internas e externas. Confira as diferenças:

• A tabela interna armazena dados diretamente do MaxCompute. Sincronize dados de uma tabela de source do MaxCompute para uma tabela interna do Hologres para obter consultas e análises rápidas. Esse método proporciona melhor desempenho de consulta em comparação ao uso de tabelas externas.

• A tabela externa não armazena dados diretamente. Ela mapeia uma tabela de source do MaxCompute para acelerar consultas e análises. Essa abordagem evita redundância de dados e elimina a necessidade de importação e exportação, garantindo resultados de consulta ágeis.

O DataWorks, como plataforma de desenvolvimento de dados, oferece um método visual prático para criar tabelas. Para criar várias tabelas externas do Hologres simultaneamente, use o recurso de Schema synchronization from MaxCompute. Também é possível criar tabelas diretamente no Hologres por meio de instruções DDL. Para mais informações, consulte CREATE FOREIGN TABLE.

Limites

• Crie apenas tabelas externas do Hologres mapeadas para tabelas do MaxCompute.

• Este recurso está disponível apenas nas regiões China (Shanghai) e China (Beijing).

Procedimento

1. Acesse a página do Data Studio.

   Faça login no console do DataWorks. Na região desejada, clique em Data Integration > Data Integration no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.

2. Crie um Workflow.

   Se já existir um Workflow, ignore esta etapa.

   1. Passe o mouse sobre o ícone e selecione Create Workflow.

   2. Na caixa de diálogo Create Workflow, insira um Workflow Name.

   3. Clique em Create.

3. Crie uma tabela externa do Hologres.

   1. Passe o mouse sobre o ícone e escolha Create Table > Hologres > Table.

   2. Na caixa de diálogo Create Table, selecione External Table para Table Type e configure o mecanismo, o caminho e o nome da tabela.

      Após concluir a configuração, clique em Create.

4. Configure a tabela externa do Hologres.

   Na página de configuração da tabela externa do Hologres, defina as propriedades da tabela.

   1. Defina as propriedades básicas.

      A tabela a seguir descreve as principais propriedades básicas.

      Parâmetro	Descrição
      Type	Tipo de tabela externa do Hologres a ser criada. Nota Crie apenas tabelas externas do Hologres mapeadas para tabelas do MaxCompute.
      Servers	Servidor usado pela tabela externa para conectar-se à fonte de dados do MaxCompute. Nota Para criar uma tabela externa do MaxCompute, chame o servidor de tabela externa odps_server, previamente criado na camada subjacente do Hologres. Para mais informações sobre o princípio de funcionamento, consulte postgres_fdw.
      Table	Tabela de source do MaxCompute consultada pela tabela externa do Hologres. Configure os parâmetros abaixo conforme o tipo de modelo do projeto MaxCompute: Modelo de duas camadas: project_name: nome do projeto MaxCompute. table_name: nome da tabela de source do MaxCompute a ser consultada. Modelo de três camadas: project_name: nome do projeto e do schema do MaxCompute, no formato odps_project_name#odps_schema_name. table_name: nome da tabela de source do MaxCompute a ser consultada. Nota Se os parâmetros configurados não atenderem aos requisitos do tipo de modelo, o sistema reportará um erro. Exemplo: failed to import foreign schema:Table not found - table_xxx.

   2. Configure as informações de negócio.

      Nota

      As informações de negócio da tabela servem apenas para fins de gestão com base nos requisitos empresariais e não envolvem implementação de lógica subjacente.

      Parâmetro	Descrição
      Tema	Pastas de nível 1 e nível 2 às quais a tabela pertence. Classifique as tabelas conforme a finalidade de negócio, agrupando tipos semelhantes na mesma pasta. Nota Temas de nível 1 e nível 2 representam apenas a estrutura de pastas apresentada no DataWorks para facilitar o gerenciamento das tabelas.
      Layer	Camada física do data warehouse à qual a tabela pertence. As camadas definem e gerenciam a hierarquia do data warehouse. Exemplos comuns incluem as camadas de staging, compartilhada e de análise. Atribua a tabela à camada adequada conforme sua finalidade de negócio. Nota Clique no ícone para personalizar camadas. Para mais informações, consulte Table management.
      Physical Category	Categoria física da tabela. Proporciona uma classificação mais detalhada sob a perspectiva de negócio. Categorias comuns incluem as camadas básica e avançada de negócios, entre outras. Nota Clique no ícone para personalizar categorias físicas. Para mais informações, consulte Category management.

   3. Configure o schema da tabela.

      Na página Table Structure Design, vá para a aba Field Design e selecione os campos a serem mapeados para a tabela externa do Hologres. Neste exemplo, selecione os dois campos de texto smischema e smitable. Após configurar o parâmetro Table em Configure basic properties na Etapa 4, o sistema exibe automaticamente o schema da tabela de source do MaxCompute. Esse schema cria a tabela externa final do Hologres e não pode ser editado.

      Nota

      Ao criar uma tabela externa do Hologres baseada em uma tabela do MaxCompute, ocorre um mapeamento de tipos de dados entre ambas. Os tipos de campo na tabela externa devem corresponder individualmente aos tipos de campo na tabela de source do MaxCompute. Para obter informações sobre o mapeamento de tipos de dados entre MaxCompute e Hologres, consulte Data type mappings between MaxCompute and Hologres.

5. Envie e implante a tabela externa do Hologres.

   Depois de definir a estrutura da tabela, envie-a para os ambientes de desenvolvimento e produção. A tabela torna-se visível no projeto do mecanismo correspondente somente após o envio bem-sucedido.

   Nota

   Se o workspace estiver no modo básico, envie a tabela apenas para o ambiente de produção. Para mais informações sobre as diferenças entre workspaces nos modos básico e padrão, consulte Workspace mode differences.

   Operação	Descrição
   Load from Development Environment	Carrega informações da tabela de desenvolvimento a partir do ambiente de desenvolvimento e as exibe na página atual. Nota Esta operação só está disponível depois que a tabela for enviada ao ambiente de desenvolvimento. Após a execução, as informações da tabela vindas do ambiente de desenvolvimento substituem as informações da tabela na página atual.
   Commit to Development Environment	Envia a tabela para o ambiente de desenvolvimento do DataWorks e a cria no banco de dados Hologres correspondente. Após o envio, visualize a estrutura da tabela no diretório Hologres do workflow correspondente (caminho escolhido durante a criação da tabela) no Data Studio.
   Load from Production Environment	Carrega informações da tabela de produção a partir do ambiente de produção e as exibe na página atual. Nota Esta operação só está disponível depois que a tabela for enviada ao ambiente de produção. Após a execução, as informações da tabela vindas do ambiente de produção substituem as informações da tabela na página atual.
   Commit to Production Environment	Envia a tabela para o ambiente de produção do DataWorks e a cria no banco de dados Hologres correspondente.

Próximas etapas

Após criar a tabela externa do Hologres, use-a para importar dados periodicamente do MaxCompute para uma tabela interna do Hologres. Escolha um dos métodos abaixo para importar os dados:

• Importe dados usando comandos SQL. Para mais informações, consulte Import data from MaxCompute by using SQL.

• Importe dados usando as ferramentas visuais do DataWorks. Para mais informações, consulte Data synchronization from MaxCompute node.