DataWorks:Mapear metadados do MaxCompute para tabelas externas do Hologres

Contexto

O Hologres usa tabelas externas e bancos de dados externos para acelerar consultas a dados de fontes externas, como o MaxCompute. Assim, você consulta dados externos diretamente no Hologres sem precisar importá-los.

O recurso de mapeamento de metadados no DataWorks aproveita as capacidades de tabelas externas do Hologres para mapear dados específicos do MaxCompute criando tabelas externas correspondentes. Dessa forma, é possível executar consultas aceleradas aos seus dados do MaxCompute.

O DataWorks oferece uma interface visual para mapear rapidamente os metadados do MaxCompute para o Hologres nos níveis de projeto, schema e tabela:

• Mapeamento de metadados no nível de projeto: Usa a funcionalidade de banco de dados externo do Hologres CREATE EXTERNAL DATABASE.

• Mapeamento de metadados no nível de schema: Usa a funcionalidade Auto Load do Hologres para tabelas externas.

• Mapeamento de metadados no nível de tabela: Usa a funcionalidade de tabela externa do Hologres CREATE FOREIGN TABLE.

Para mais informações sobre como acelerar consultas do MaxCompute com o Hologres, consulte Acelerar consultas a dados do MaxCompute.

Limitações

• Este recurso tem suporte apenas para projetos internos no MaxCompute.

• O suporte está disponível somente no Hologres V3.0.7 ou superior.

• Você só pode mapear metadados do MaxCompute para uma instância exclusiva do Hologres.

Observação

Os tipos de dados no MaxCompute e no Hologres diferem entre si, e alguns tipos não admitem mapeamento. Antes de usar este recurso, revise cuidadosamente os Mapeamentos de tipos de dados entre MaxCompute e Hologres e verifique se os resultados atendem aos seus requisitos de negócio.

Acesso

Este tópico descreve como criar um mapeamento de metadados a partir do Data Directory. Para criar e agendar um mapeamento periódico como parte de um fluxo de trabalho de desenvolvimento, use um nó Metadata Mapping to Hologres no Data Studio.

1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

2. No painel de navegação à esquerda, clique em para acessar o Data Directory.

3. No diretório do MaxCompute, localize o projeto, schema ou tabela do MaxCompute cujos metadados você deseja mapear para o Hologres. Clique com o botão direito do mouse no objeto e selecione Map Metadata to Hologres.

Mapeamento de metadados no nível de projeto

O mapeamento de metadados no nível de projeto cria um banco de dados externo na instância especificada do Hologres com o mesmo nome do projeto do MaxCompute. Os metadados do projeto do MaxCompute são mapeados para o Hologres por meio de tabelas externas.

1. No diretório do MaxCompute, localize o projeto do MaxCompute cujos metadados deseja mapear para o Hologres. Clique em > Map Metadata to Hologres para abrir a página de configuração de mapeamento de metadados.

2. Configure os parâmetros para o mapeamento de metadados no nível de projeto.

   • Source

     Parameter	Description
     Source Object Type	Confirme o tipo de objeto cujos metadados serão mapeados para o Hologres. O valor é fixo em MaxCompute Project.
     Source Object Name	Confirme o projeto do MaxCompute cujos metadados serão mapeados para o Hologres. O valor é fixo no projeto atual do MaxCompute.

   • Hologres destination

     Parameter	Description
     Instance search method	Selecione o método para localizar a instância do Hologres. From DataWorks data source: Selecione a instância do Hologres escolhendo uma fonte de dados do Hologres associada ao workspace atual. Após escolher esta opção, selecione também um valor para Data Sources a fim de especificar a instância de destino do Hologres. Certifique-se de que a identidade de acesso especificada na fonte de dados tenha permissões de SuperUser no Hologres e permissões de leitura/gravação nas tabelas de origem do MaxCompute. Nota Somente usuários com a função de operador ou administrador do workspace podem selecionar uma fonte de dados de produção. I have permission: Selecione a instância de destino do Hologres entre as instâncias às quais você tem permissão de acesso na conta atual da Alibaba Cloud. Após escolher esta opção, selecione também um valor para Hologres Instance. Certifique-se de ter permissões de SuperUser no Hologres e permissões de leitura/gravação nas tabelas de origem do MaxCompute. Nota Este recurso tem suporte apenas no Hologres V3.0.7 ou superior. Você só pode mapear metadados do MaxCompute para uma instância exclusiva do Hologres.
     External Database	Defina o nome do novo banco de dados externo a ser criado na instância exclusiva especificada do Hologres. Os metadados de origem são mapeados para o destino em tempo real. Caso não precise mais do mapeamento, exclua o banco de dados externo especificado no destino.

3. Clique no botão Run na parte superior. O sistema usa a funcionalidade de banco de dados externo do Hologres CREATE EXTERNAL DATABASE para executar o mapeamento de metadados no nível de projeto.

Mapeamento de metadados no nível de schema

O mapeamento de metadados no nível de schema mapeia os metadados de um schema do MaxCompute para o Hologres por meio de tabelas externas.

A hierarquia de schema aparece no Data Catalog somente após a ativação do recurso Schema para o MaxCompute. Para mais informações, consulte Ativar o recurso Schema para o MaxCompute.

1. No projeto do MaxCompute, localize o schema cujos dados deseja mapear para o Hologres. Clique em > Map Metadata to Hologres para abrir a página de configuração de mapeamento de metadados.

2. Configure os parâmetros para o mapeamento de metadados no nível de schema.

   • Source

     Parameter	Description
     Source Object Type	Confirme o tipo de objeto cujos metadados serão mapeados para o Hologres. O valor é fixo em MaxCompute Schema.
     Source Object Name	Confirme o schema do MaxCompute cujos metadados serão mapeados para o Hologres. O valor é fixo no schema selecionado atualmente.

   • Hologres destination

     Parameter	Description
     Instance search method	Selecione o método para localizar a instância do Hologres. From DataWorks data source: Selecione a instância do Hologres escolhendo uma fonte de dados do Hologres associada ao workspace atual. Após escolher esta opção, selecione também valores para Data Sources e Schema a fim de especificar o schema de destino na instância do Hologres. Certifique-se de que a identidade de acesso especificada na fonte de dados tenha permissões de leitura/gravação tanto nas tabelas de origem do MaxCompute quanto na instância de destino do Hologres. Nota Somente usuários com a função de operador ou administrador do workspace podem selecionar uma fonte de dados de produção. I have permission: Selecione a instância de destino do Hologres entre as instâncias às quais você tem permissão de acesso na conta atual da Alibaba Cloud. Após escolher esta opção, selecione também valores para Hologres Instance, Database e Schema a fim de especificar o schema de destino. Certifique-se de ter permissões de leitura/gravação tanto nas tabelas de origem do MaxCompute quanto na instância de destino do Hologres. Nota Este recurso tem suporte apenas no Hologres V3.0.7 ou superior. Você só pode mapear metadados do MaxCompute para uma instância exclusiva do Hologres.
     Database	Selecione um banco de dados existente na instância do Hologres.
     Schema	Defina o nome do novo schema a ser criado na instância exclusiva especificada do Hologres. Os dados do schema de origem serão mapeados para este schema. Nota A criação de um schema é uma ação única. Os metadados não são atualizados automaticamente. Para atualizá-los, exclua o schema atual e recrie manualmente o mapeamento de metadados no nível de schema.

3. Clique no botão Run na parte superior. O sistema usa a funcionalidade Auto Load do Hologres para tabelas externas a fim de executar o mapeamento de metadados no nível de schema.

Mapeamento de metadados no nível de tabela

O mapeamento de metadados no nível de tabela mapeia uma tabela específica do MaxCompute para uma tabela designada no Hologres por meio de uma tabela externa. É possível especificar o caminho da tabela externa e personalizar seu nome.

1. No projeto do MaxCompute, localize a tabela do MaxCompute cujos metadados deseja mapear para o Hologres. Clique com o botão direito do mouse no nome da tabela e selecione Map Metadata to Hologres para abrir a página de configuração de mapeamento de metadados.

2. Configure os parâmetros para o mapeamento de metadados no nível de tabela.

   • Source

     Parameter	Description
     Source Object Type	Confirme o tipo de objeto cujos metadados serão mapeados para o Hologres. O valor padrão é MaxCompute Table.
     Source Object Name	Confirme a tabela do MaxCompute cujos metadados serão mapeados para o Hologres. O valor é fixo na tabela do MaxCompute selecionada atualmente.

   • Hologres destination

     Parameter	Description
     Instance search method	Selecione o método para localizar a instância do Hologres. From DataWorks data source: Selecione a instância do Hologres escolhendo uma fonte de dados do Hologres associada ao workspace atual. Após escolher esta opção, selecione também valores para Data Sources, Schema e External Table a fim de especificar a tabela externa de destino na instância do Hologres. Certifique-se de que a identidade de acesso especificada na fonte de dados tenha permissões de leitura/gravação tanto nas tabelas de origem do MaxCompute quanto na instância de destino do Hologres. Nota Somente usuários com a função de operador ou administrador do workspace podem selecionar uma fonte de dados de produção. I have permission: Selecione a instância de destino do Hologres entre as instâncias às quais você tem permissão de acesso na conta atual da Alibaba Cloud. Após escolher esta opção, selecione também valores para Hologres Instance, Database, Schema e External Table a fim de especificar a tabela externa de destino. Certifique-se de ter permissões de leitura/gravação tanto nas tabelas de origem do MaxCompute quanto na instância de destino do Hologres. Nota Este recurso tem suporte apenas no Hologres V3.0.7 ou superior. Você só pode mapear metadados do MaxCompute para uma instância exclusiva do Hologres.
     Database	Selecione um banco de dados existente na instância do Hologres.
     Schema	Selecione um schema existente no banco de dados correspondente na instância do Hologres.
     External Table	Defina o nome da nova tabela externa a ser criada no schema do banco de dados especificado da instância exclusiva do Hologres. Os dados da tabela de origem serão mapeados para esta tabela. Nota A criação de uma tabela externa é uma ação única. Os metadados não são atualizados automaticamente. Para atualizá-los, exclua a tabela externa atual e recrie manualmente o mapeamento de metadados.
     Field	Configure os Mapping Fields e as Partition Configurations para a tabela externa de destino conforme necessário.
     Action for Table Name Conflicts	Selecione a política de resolução de conflitos quando já existir uma tabela com o mesmo nome: Skip: Não cria a tabela novamente. Overwrite: Exclui a tabela existente e cria uma nova. Throw error

3. Clique no botão Run na parte superior. O sistema usa a funcionalidade de tabela externa do Hologres CREATE FOREIGN TABLE para executar o mapeamento de metadados no nível de tabela.

Próximas etapas

• Visualize as tabelas externas criadas em Data Directory > Hologres.

• Use tabelas externas para acelerar consultas a dados do MaxCompute em um nó DataStudio > Hologres SQL.

Caso deseje sincronizar dados do MaxCompute diretamente para o Hologres, consulte Sincronizar dados do MaxCompute para o Hologres.