DataWorks:Mapear metadados do MaxCompute para tabelas externas do Hologres

Contexto

Tabelas externas e bancos de dados externos do Hologres aceleram consultas em fontes de dados externas, como o MaxCompute, sem exigir a importação dos dados.

O recurso de mapeamento de metadados do DataWorks aproveita as capacidades das tabelas externas do Hologres para vincular dados do MaxCompute ao Hologres, possibilitando consultas aceleradas.

O DataWorks oferece uma interface visual para mapear metadados do MaxCompute para o Hologres nos níveis de projeto, schema e tabela:

• Project-level metadata mapping: Utiliza o recurso de banco de dados externo CREATE EXTERNAL DATABASE do Hologres.

• Schema-level metadata mapping: Aproveita a funcionalidade Auto Load do Hologres para tabelas externas.

• Table-level metadata mapping: Emprega o recurso de tabela externa CREATE FOREIGN TABLE do Hologres.

Para mais detalhes sobre como acelerar consultas do MaxCompute com o Hologres, consulte Accelerate queries on MaxCompute data.

Limitações

• Este recurso é compatível apenas com projetos internos do MaxCompute.

• A funcionalidade exige Hologres V3.0.7 ou superior.

• Você só pode mapear metadados do MaxCompute para uma instância exclusiva do Hologres.

Observação

Os tipos de dados no MaxCompute e no Hologres são diferentes, e alguns tipos não podem ser mapeados. Antes de utilizar este recurso, revise atentamente Data type mappings between MaxCompute and Hologres e verifique se os resultados atendem aos requisitos do seu negócio.

Acesso

Este tópico descreve como criar um mapeamento de metadados a partir do Data Directory. Para criar e agendar um mapeamento periódico como parte de um fluxo de trabalho de desenvolvimento, utilize um nó Metadata Mapping to Hologres no Data Studio.

1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace apropriado e escolha Shortcuts > Data Studio na coluna Actions.

2. No painel de navegação à esquerda, clique em para ir ao Data Directory.

3. No diretório do MaxCompute, localize o projeto, schema ou tabela do MaxCompute cujos metadados você deseja mapear para o Hologres. Clique com o botão direito no objeto e selecione Map Metadata to Hologres.

Mapeamento de metadados no nível de projeto

O mapeamento no nível de projeto cria um banco de dados externo na instância especificada do Hologres com o mesmo nome do projeto do MaxCompute, vinculando todos os metadados do projeto por meio de tabelas externas.

1. No diretório do MaxCompute, encontre o projeto cujos metadados serão mapeados para o Hologres. Clique em > Map Metadata to Hologres para abrir a página de configuração do mapeamento de metadados.

2. Configure os parâmetros para o mapeamento de metadados no nível de projeto.

   • Source

     Parameter	Description
     Source Object Type	Confirme o tipo de objeto cujos metadados serão mapeados para o Hologres. O valor é fixo como MaxCompute Project.
     Source Object Name	Valide o projeto do MaxCompute alvo do mapeamento. Este campo é preenchido automaticamente com o projeto atual do MaxCompute.

   • Hologres destination

     Parameter	Description
     Instance search method	Escolha o método para localizar a instância do Hologres. From DataWorks data source: Selecione a instância do Hologres escolhendo uma fonte de dados do Hologres associada ao workspace atual. Após escolher esta opção, especifique também um valor em Data Sources para definir a instância de destino. Certifique-se de que a identidade de acesso configurada na fonte de dados possua permissões de SuperUser no Hologres e permissões de leitura/escrita nas tabelas de origem do MaxCompute. Nota Somente usuários com função de operador ou administrador de workspace podem selecionar uma fonte de dados de produção. I have permission: Escolha a instância de destino do Hologres entre aquelas acessíveis pela sua conta Alibaba Cloud atual. Ao optar por este método, indique também a Hologres Instance desejada. Verifique se você tem permissões de SuperUser no Hologres e acesso de leitura/escrita às tabelas de origem no MaxCompute. Nota Requer Hologres V3.0.7 ou versão posterior. O mapeamento de metadados do MaxCompute é suportado exclusivamente em instâncias dedicadas do Hologres.
     External Database	Defina o nome do novo banco de dados externo a ser criado na instância exclusiva do Hologres especificada. Os metadados de origem são mapeados para o destino em tempo real. Caso o mapeamento não seja mais necessário, exclua o banco de dados externo correspondente no destino.

3. Clique no botão Run na parte superior. O sistema utiliza o recurso de banco de dados externo CREATE EXTERNAL DATABASE do Hologres para executar o mapeamento de metadados no nível de projeto.

Mapeamento de metadados no nível de schema

O mapeamento no nível de schema vincula os metadados de um schema do MaxCompute ao Hologres por meio de tabelas externas.

A hierarquia de schemas aparece no Data Catalog somente após a ativação do recurso Schema no MaxCompute. Para mais informações, consulte Enable the Schema feature for MaxCompute.

1. Dentro do projeto do MaxCompute, localize o schema cujos dados serão mapeados para o Hologres. Clique em > Map Metadata to Hologres para acessar a página de configuração do mapeamento de metadados.

2. Preencha os parâmetros necessários para o mapeamento de metadados no nível de schema.

   • Source

     Parameter	Description
     Source Object Type	Verifique o tipo de objeto alvo do mapeamento. O valor é fixo como MaxCompute Schema.
     Source Object Name	Identifique o schema do MaxCompute a ser mapeado. Este campo reflete automaticamente o schema selecionado no momento.

   • Hologres destination

     Parameter	Description
     Instance search method	Determine como localizar a instância do Hologres. From DataWorks data source: Aponte a instância do Hologres selecionando uma fonte de dados vinculada ao workspace corrente. Em seguida, defina os valores de Data Sources e Schema para indicar o schema de destino na instância. Assegure-se de que a identidade de acesso da fonte de dados tenha permissões de leitura e escrita tanto nas tabelas de origem do MaxCompute quanto na instância de destino do Hologres. Nota A seleção de fontes de dados de produção é restrita a usuários com perfil de operador ou administrador de workspace. I have permission: Liste as instâncias do Hologres acessíveis pela sua conta Alibaba Cloud e escolha a de destino. Complementarmente, preencha Hologres Instance, Database e Schema para definir o schema alvo. Confirme se suas credenciais permitem leitura e escrita nas tabelas do MaxCompute e na instância do Hologres. Nota Disponível apenas para Hologres V3.0.7 e versões posteriores. Suportado unicamente em instâncias exclusivas do Hologres.
     Database	Selecione um banco de dados existente na instância do Hologres.
     Schema	Especifique o nome do novo schema a ser criado na instância exclusiva do Hologres indicada. Os dados do schema de origem serão mapeados para este schema. Nota A criação do schema ocorre apenas uma vez e os metadados não são atualizados automaticamente. Para atualizá-los, exclua o schema atual e recrie manualmente o mapeamento de metadados no nível de schema.

3. Clique no botão Run localizado no topo. O sistema emprega a capacidade Auto Load do Hologres para tabelas externas a fim de realizar o mapeamento de metadados no nível de schema.

Mapeamento de metadados no nível de tabela

O mapeamento no nível de tabela associa uma tabela específica do MaxCompute a uma tabela externa designada no Hologres. É possível definir o caminho da tabela externa e personalizar seu nome.

1. No projeto do MaxCompute, encontre a tabela cujos metadados devem ser mapeados para o Hologres. Clique com o botão direito no nome da tabela e selecione Map Metadata to Hologres para abrir a tela de configuração.

2. Ajuste os parâmetros referentes ao mapeamento de metadados no nível de tabela.

   • Source

     Parameter	Description
     Source Object Type	Valide o tipo de objeto a ser mapeado. O valor padrão é MaxCompute Table.
     Source Object Name	Confira a tabela do MaxCompute alvo do mapeamento. O campo exibe fixamente a tabela do MaxCompute selecionada atualmente.

   • Hologres destination

     Parameter	Description
     Instance search method	Defina o método de busca da instância do Hologres. From DataWorks data source: Indique a instância do Hologres através de uma fonte de dados associada ao workspace vigente. Posteriormente, informe os valores para Data Sources, Schema e External Table para determinar a tabela externa de destino. Garanta que a identidade de acesso da fonte de dados possua privilégios de leitura e escrita nas tabelas de origem do MaxCompute e na instância do Hologres. Nota Apenas operadores ou administradores de workspace têm permissão para escolher fontes de dados de produção. I have permission: Selecione a instância de destino dentre aquelas permitidas para sua conta Alibaba Cloud. Em seguida, preencha Hologres Instance, Database, Schema e External Table para configurar a tabela externa alvo. Verifique se você dispõe de permissões de leitura e escrita tanto na origem (MaxCompute) quanto no destino (Hologres). Nota Funcionalidade disponível a partir do Hologres V3.0.7. Restrito a instâncias exclusivas do Hologres.
     Database	Escolha um banco de dados já existente na instância do Hologres.
     Schema	Selecione um schema existente sob o banco de dados correspondente na instância do Hologres.
     External Table	Nomeie a nova tabela externa que será criada sob o schema no banco de dados especificado da instância exclusiva do Hologres. Os dados da tabela de origem serão mapeados para esta tabela. Nota A criação da tabela externa é uma ação única. Não há atualização automática de metadados. Para atualizar, exclua a tabela externa atual e recrie o mapeamento de metadados manualmente.
     Field	Configure os Mapping Fields e as Partition Configurations da tabela externa de destino conforme necessário.
     Action for Table Name Conflicts	Defina a política de resolução caso já exista uma tabela com o mesmo nome: Skip: Não cria a tabela novamente. Overwrite: Exclui a tabela existente e cria uma nova. Throw error

3. Clique no botão Run no topo da página. O sistema executa o mapeamento de metadados no nível de tabela utilizando o recurso de tabela externa CREATE FOREIGN TABLE do Hologres.

Próximos passos

• Visualize as tabelas externas criadas em Data Directory > Hologres.

• Utilize as tabelas externas para acelerar consultas aos dados do MaxCompute em um nó DataStudio > Hologres SQL.

Caso prefira sincronizar dados do MaxCompute diretamente para o Hologres, consulte Synchronize MaxCompute data to Hologres.