É possível criar uma tabela externa do Hologres por meio de instruções DDL ou das ferramentas visuais do DataWorks. Este tópico descreve como usar as ferramentas visuais do DataWorks para criar uma tabela externa do Hologres.
Pré-requisitos
Você adicionou um recurso de computação do Hologres ao seu workspace e o associou ao Data Studio. Para mais informações, consulte Data Studio (legacy): Associate a Hologres computing resource.
Você possui a função Workspace Administrator ou Development. Para mais informações sobre como conceder funções, consulte Gerencie permissions on workspace-level services.
Informações gerais
O Hologres suporta dois tipos de tabelas: tabelas internas e tabelas externas. As diferenças entre elas são as seguintes:
Uma tabela interna armazena dados sincronizados do MaxCompute, permitindo consultas e análises rápidas com desempenho superior ao de uma tabela externa.
Uma tabela externa é mapeada para uma tabela source do MaxCompute sem armazenar dados localmente, evitando redundância de dados e eliminando a necessidade de importação e exportação.
O DataWorks, como plataforma de desenvolvimento de dados, oferece um método visual conveniente para criar tabelas. Para criar várias tabelas externas do Hologres ao mesmo tempo, utilize o recurso Schema synchronization from MaxCompute. Também é possível criar tabelas diretamente no Hologres usando instruções DDL. Para mais informações, consulte CREATE FOREIGN TABLE.
Limitações
Somente tabelas externas do Hologres mapeadas para tabelas do MaxCompute podem ser criadas.
Este recurso está disponível apenas nas regiões China (Shanghai) e China (Beijing).
Procedimento
-
Acesse a página Data Studio.
Faça login no DataWorks console. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.
-
Crie um Workflow.
Se você já tiver um Workflow existente, ignore esta etapa.
Passe o cursor sobre o ícone
e selecione Create Workflow.Na caixa de diálogo Create Workflow, insira um Workflow Name.
Clique em Create.
-
Crie a tabela externa do Hologres.
Passe o cursor sobre o ícone
e escolha .-
Na caixa de diálogo Create Table, selecione External Table para o campo Table Type e configure o engine, o caminho e o nome da tabela.
Após concluir a configuração, clique em Create.
-
Configure a tabela externa do Hologres.
Na página de configuração da tabela externa do Hologres, configure as propriedades da tabela.
-
Configure as propriedades básicas.
A tabela a seguir descreve as principais propriedades básicas.
Parameter
Description
Type
O tipo de tabela externa do Hologres a ser criada.
NotaSomente tabelas externas do Hologres mapeadas para tabelas do MaxCompute podem ser criadas.
Servers
O servidor que a tabela externa usa para se conectar à fonte de dados do MaxCompute.
NotaPara criar uma tabela externa para o MaxCompute, é necessário chamar o servidor de tabela externa
odps_server, que já está criado na camada subjacente do Hologres. Para mais informações sobre o princípio, consulte postgres_fdw.Table
A tabela source do MaxCompute que a tabela externa do Hologres consulta.
Configure os parâmetros a seguir de acordo com o tipo de modelo do projeto MaxCompute:
-
two-layer model:
-
project_name: o nome do projeto MaxCompute.
-
table_name: o nome da tabela source do MaxCompute a ser consultada.
-
-
three-layer model:
-
project_name: o nome do projeto MaxCompute e do schema, no formato
odps_project_name#odps_schema_name. -
table_name: o nome da tabela source do MaxCompute a ser consultada.
-
NotaSe os parâmetros configurados não atenderem aos requisitos do tipo de modelo, um erro será relatado. Exemplo:
failed to import foreign schema:Table not found - table_xxx. -
-
Configure as informações de negócio.
NotaAs informações de negócio de uma tabela são usadas apenas para fins de gerenciamento com base em requisitos de negócio e não envolvem implementação de lógica subjacente.
Parameter
Description
Theme
A pasta de nível 1 e a pasta de nível 2 às quais a tabela pertence. Classifique as tabelas de acordo com sua finalidade de negócio e agrupe tabelas do mesmo tipo na mesma pasta.
NotaOs temas de nível 1 e de nível 2 representam apenas a estrutura de pastas apresentada no DataWorks e têm como objetivo facilitar o gerenciamento das tabelas.
Layer
A camada física do data warehouse à qual a tabela pertence. As camadas servem para definir e gerenciar a hierarquia do data warehouse. As camadas típicas incluem a camada de staging, a camada compartilhada e a camada de análise. Atribua a tabela à camada mais adequada com base em sua finalidade de negócio.
NotaClique no ícone
para personalizar as camadas. Para mais informações, consulte Table management.Physical Category
A categoria física da tabela, que oferece uma classificação mais detalhada sob a perspectiva de negócio. As categorias típicas incluem a camada básica de negócio, a camada avançada de negócio e outras.
NotaClique no ícone
para personalizar as categorias físicas. Para mais informações, consulte Category management. -
Configure o schema da tabela.
Na página Table Structure Design, acesse a aba Field Design e selecione os campos a serem mapeados para a tabela externa do Hologres. Neste exemplo, os dois campos do tipo texto
smischemaesmitablesão selecionados. Após configurar o parâmetro Table em Configure basic properties na Etapa 4, o schema da tabela source do MaxCompute é exibido automaticamente. Esse schema é usado para criar a tabela externa final do Hologres e não pode ser editado.NotaAo criar uma tabela externa do Hologres com base em uma tabela do MaxCompute, os tipos de dados são mapeados entre as duas. Os tipos de campo na tabela externa devem corresponder um a um com os tipos de campo na tabela source do MaxCompute. Para informações sobre o mapeamento de tipos de dados entre MaxCompute e Hologres, consulte Data type mappings between MaxCompute and Hologres.
-
-
Confirme e implante a tabela externa do Hologres.
Após definir a estrutura da tabela, envie-a para o ambiente de desenvolvimento e o ambiente de produção. A tabela fica visível no projeto de engine correspondente somente após o envio.
NotaSe o seu workspace estiver no modo básico, basta enviar a tabela para o ambiente de produção. Para mais informações sobre workspaces em modo básico e modo padrão, consulte Workspace mode differences.
Operation
Description
Load from Development Environment
Carrega as informações da tabela de desenvolvimento a partir do ambiente de desenvolvimento e as exibe na página atual.
NotaEsta operação está disponível somente após o envio da tabela para o ambiente de desenvolvimento. Após a execução, as informações da tabela do ambiente de desenvolvimento substituem as informações exibidas na página atual.
Commit to Development Environment
Envia a tabela para o ambiente de desenvolvimento do DataWorks, criando-a no banco de dados do Hologres correspondente ao ambiente de desenvolvimento.
Após o envio, visualize a estrutura da tabela no diretório do Hologres do workflow correspondente (o caminho selecionado ao criar a tabela) no Data Studio.
Load from Production Environment
Carrega as informações da tabela de produção a partir do ambiente de produção e as exibe na página atual.
NotaEsta operação está disponível somente após o envio da tabela para o ambiente de produção. Após a execução, as informações da tabela do ambiente de produção substituem as informações exibidas na página atual.
Commit to Production Environment
Envia a tabela para o ambiente de produção do DataWorks, criando-a no banco de dados do Hologres correspondente ao ambiente de produção.
Próximas etapas
Após criar a tabela externa do Hologres, use-a para importar dados periodicamente do MaxCompute para uma tabela interna do Hologres. Utilize um dos seguintes métodos para importar os dados:
Importe dados usando comandos SQL. Para mais informações, consulte Import data from MaxCompute by using SQL.
Importe dados pelas ferramentas visuais do DataWorks. Para mais informações, consulte Data synchronization from MaxCompute node.