MaxCompute:Crie e gerencie um data lakehouse (DLF e OSS)

Notas de uso

• O recurso de data lakehouse está disponível apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Hong Kong), Singapore e Germany (Frankfurt).

• O MaxCompute, o OSS e o DLF devem ser implantados na mesma região.

Procedimento

1. Ative os services

   • Na página de ativação do DLF, ative o service DLF.

   • Ative o OSS service.

2. Conceda permissões de acesso ao MaxCompute

   Ao criar um data lakehouse, conceda permissões, pois a conta do projeto MaxCompute não tem autorização para acessar o DLF ou o OSS por padrão. Use um dos dois métodos de autorização a seguir:

   • Autorização com um clique: use este método se a mesma conta gerencie o projeto MaxCompute, o DLF e o OSS. Recomendamos clique em Authorize DLF and OSS para conceder permissões com um único clique.

   • Autorização personalizada: use este método se contas diferentes gerencie o projeto MaxCompute, o DLF e o OSS, ou se você precisar de configuração manual. Para mais informações, consulte Custom authorization.

3. Crie um data lakehouse no DataWorks

   1. Acesse o console do DataWorks e selecione uma região no canto superior esquerdo.

      Para obter a lista de regiões compatíveis, consulte Usage notes.

   2. No painel de navegação à esquerda, escolha Other Items > Lake and Warehouse Integration (Data Lakehouse).

   3. Na página Lake and Warehouse Integration (Data Lakehouse), clique em Start.

   4. Na página Create Data Lakehouse, siga as instruções na tela.

      • Create Data Warehouse:

        Parâmetro	Descrição
        External Project Name	Um nome personalizado para o projeto externo. O nome deve atender aos seguintes requisitos: O nome deve começar com uma letra e conter apenas letras, underscores (_) e dígitos. O nome deve ter no máximo 128 caracteres. Para mais informações sobre os conceitos básicos de projetos externos, consulte Project concepts.
        MaxCompute Project	Selecione o projeto MaxCompute desejado. Caso não tenha um projeto MaxCompute, crie um projeto MaxCompute. Se o projeto de destino não estiver disponível na lista suspensa, bind the target project in the DataWorks console.

      • Create Data Lake Connection

        Parâmetro		Descrição
        Heterogeneous Data Platform Type		Alibaba Cloud E-MapReduce/Hadoop Cluster: Crie um data lakehouse com MaxCompute e Hadoop. Alibaba Cloud DLF + OSS: Use MaxCompute, DLF e OSS para criar um data lakehouse.
        Conexão de data lake do Alibaba Cloud DLF + OSS	External Project Description	Opcional. A descrição do projeto externo.
        	Region Where DLF Is Activated	A região onde o service Data Lake Formation (DLF) está disponível. Valores válidos: China (Hangzhou): cn-hangzhou China (Shanghai): cn-shanghai China (Beijing): cn-beijing China (Shenzhen): cn-shenzhen China (Zhangjiakou): cn-zhangjiakou Singapore: ap-southeast-1 Germany (Frankfurt): eu-central-1
        	DLF EndPoint	O endpoint de service interno do DLF. Selecione um endpoint com base na sua região. Valores válidos: China (Hangzhou): dlf-share.cn-hangzhou.aliyuncs.com China (Shanghai): dlf-share.cn-shanghai.aliyuncs.com China (Beijing): dlf-share.cn-beijing.aliyuncs.com China (Zhangjiakou): dlf-share.cn-zhangjiakou.aliyuncs.com China (Shenzhen): dlf-share.cn-shenzhen.aliyuncs.com China (Hong Kong): dlf-share.cn-hongkong.aliyuncs.com Singapore: dlf-share.ap-southeast-1.aliyuncs.com Germany (Frankfurt): dlf-share.eu-central-1.aliyuncs.com
        	DLF Database Name	O nome do banco de dados de destino no DLF. Para obter o nome do banco de dados: Acesse o console do Data Lake Formation (DLF) e, no canto superior esquerdo, selecione uma região. No painel de navegação à esquerda, escolha Metadata > Metadata. Na página Metadata, clique em aba Table. Apenas bancos de dados do catálogo de dados padrão do DLF são compatíveis. Acesse o console do Data Lake Formation (DLF) e, no canto superior esquerdo, selecione uma região. No painel de navegação à esquerda, escolha Metadata > Metadata. Na página Metadata, clique em aba Table.
        	ARN da função DLF	Opcional. O Alibaba Cloud Resource Name (ARN) da função RAM, necessário caso você use autorização personalizada. Para obter o ARN: Acesse o console do RAM. Na barra de navegação à esquerda, selecione Identities > Roles. Na página Roles, clique em Role Name de destino para acessar a página de detalhes da função. Na seção Basic Information, obtenha o ARN.

4. Gerencie um data lakehouse com o DataWorks

   1. Acesse o console do DataWorks e selecione uma região no canto superior esquerdo.

   2. No painel de navegação à esquerda, escolha Other Items > Lake and Warehouse Integration (Data Lakehouse).

   3. Na página Other Items > Lake and Warehouse Integration (Data Lakehouse), execute as seguintes ações:

      1. Selecione o projeto externo de destino e clique em Use Data Lakehouse na coluna Actions para começar.

      2. Clique em Project configuration na coluna Actions do projeto externo de destino para atualize as informações do projeto externo na caixa de diálogo Project configuration.

      3. Atualize o nome do banco de dados da source de dados externa mapeada para o projeto externo do MaxCompute ou selecione novamente a source de dados externa. Para exclua uma source de dados externa, acesse a página da source de dados externa e exclua-a. (Atualmente, não há suporte para a atualização de sources de dados externas).

      4. Clique em Delete na coluna Actions do projeto externo de destino. Esta ação executa uma exclusão lógica no projeto externo do MaxCompute. O projeto externo entra em estado silencioso e é excluído permanentemente após 15 dias. Durante esse período, não é possível criar um projeto externo com o mesmo nome.

   4. Visualize os metadados de um projeto externo de data lakehouse

      1. Acesse o console do DataWorks e selecione uma região no canto superior esquerdo.

      2. No painel de navegação à esquerda, escolha Workspace.

      3. Na página Workspaces, na coluna Actions do workspace de destino, escolha Shortcuts > Data Map.

         Selecione o workspace vinculado ao projeto externo.

      4. Para pesquisar o nome de uma tabela em um projeto externo, use a caixa de pesquisa na página Shortcuts Data Map ou clique em ícone na barra de navegação à esquerda e pesquise na aba Directory List à direita.

      Os metadados da tabela são atualizados no modelo T+1. Isso significa que, se você modifique o esquema de uma tabela na source do mapeamento, como no Hive, as alterações aparecerão no Data Map do DataWorks no dia seguinte. Os metadados no lado do mecanismo MaxCompute são atualizados em tempo real.

No painel Public Tables, insira palavras-chave na caixa de pesquisa para filtrar rapidamente as tabelas de projetos externos. Ao selecionar uma tabela de destino, as abas Column Information, Partition Information e Data Preview aparecem abaixo e exibem o esquema detalhado da tabela. No editor SQL à direita, escreva e execute consultas na tabela externa. Os resultados da consulta são exibidos na aba Result abaixo.

Documentos relacionados

Para soluções de data lakehouse que usam Data Lake Formation (DLF), ApsaraDB RDS ou Flink e Object Storage Service (OSS) com Delta Lake ou Hudi, consulte Using DLF, RDS or Flink, and OSS with Delta Lake or Hudi.