MaxCompute:Criar e gerenciar um data lakehouse Hadoop

Pré-requisitos

Limitações

• O recurso de data lakehouse está disponível apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Hong Kong), Singapore e Germany (Frankfurt).

• A VPC do seu cluster Hadoop deve estar na mesma região do seu projeto do MaxCompute.

Procedimento

Etapa 1: Conceder permissões ao MaxCompute

Para criar o data lakehouse, conceda ao MaxCompute permissão para criar uma interface de rede elástica (ENI) na sua VPC. Isso estabelece uma conexão de rede do MaxCompute com a VPC. Faça login no console do Alibaba Cloud com a conta proprietária da VPC e clique em Authorize.

Etapa 2: Criar um data lakehouse

1. Faça login no DataWorks console e selecione uma região no canto superior esquerdo.

   Para obter a lista de regiões suportadas, consulte Limitations.

2. No painel de navegação à esquerda, escolha Other Items > Lake and Warehouse Integration (Data Lakehouse).

3. Na página Lake and Warehouse Integration (Data Lakehouse), clique em Start.

4. Na página New Data Lake Integration, configure os seguintes parâmetros.

   Tabela 2. Criar uma conexão externa de data lake

   Parâmetro		Descrição
   Heterogeneous data platform type		Alibaba Cloud E-MapReduce/Hadoop cluster: Cria um data lakehouse usando MaxCompute e Hadoop. Alibaba Cloud DLF+OSS Data Lake Connection: Cria um data lakehouse usando MaxCompute, DLF e OSS.
   Alibaba Cloud E-MapReduce/Hadoop cluster	Network connection	Selecione ou crie uma conexão de rede do MaxCompute para a VPC do seu cluster E-MapReduce ou Hadoop. Para detalhes dos parâmetros, consulte a etapa Criar uma conexão de rede entre o MaxCompute e a VPC de destino em Network connection process. Nota Este recurso é gratuito durante a pré-visualização pública. Para mais informações sobre conceitos básicos de conexões de rede, consulte Network connections.
   	Select external data source	Uma fonte de dados externa armazena a URL, porta, informações de autenticação de usuário e outras configurações necessárias para criar uma conexão externa de data lake. Selecione ou crie uma fonte de dados externa E-MapReduce ou Hadoop. Para mais informações, consulte Table 3. External data source parameters.

   Tabela 3. Parâmetros da fonte de dados externa

   Parâmetro	Descrição
   Select MaxCompute project	Selecione o projeto do MaxCompute de destino. Visualize o nome do projeto na aba Project Management.
   External Data Source Name	Insira um nome personalizado para a fonte de dados externa. O nome deve atender aos seguintes requisitos: O nome pode conter apenas letras minúsculas, dígitos e sublinhados (_). O nome deve ter menos de 128 caracteres.
   Network Connection Object	A conexão de rede do MaxCompute para a VPC onde seu cluster E-MapReduce ou Hadoop está implantado. Para mais informações, consulte Network connection process.
   NameNode Address	Endereços de serviço e números de porta dos NameNodes ativo e em espera do cluster Hadoop de destino. A porta geralmente é 8020. Entre em contato com o administrador do seu cluster Hadoop para obter detalhes.
   HMS Service Address	Endereços de serviço e números de porta das instâncias ativas e em espera do Hive Metastore Service (HMS) no cluster Hadoop de destino. A porta geralmente é 9083. Entre em contato com o administrador do seu cluster Hadoop para obter detalhes.
   Cluster Name	Nome que referencia o NameNode em um cluster Hadoop de alta disponibilidade (HA). Em clusters Hadoop autoconstruídos, encontre o nome do cluster no parâmetro de configuração dfs.nameservices no arquivo hdfs-site.xml.
   Authentication Type	O MaxCompute usa mapeamento de contas para acessar metadados e dados do cluster Hadoop. As contas Hadoop mapeadas são normalmente protegidas por um mecanismo de autenticação como Kerberos. Selecione o tipo de autenticação correspondente à configuração do seu cluster. Para mais informações, entre em contato com o administrador do seu cluster Hadoop. No Authentication Method: Selecione esta opção se a autenticação Kerberos não estiver ativada no cluster Hadoop. Kerberos Account Authentication: Selecione esta opção se a autenticação Kerberos estiver ativada no cluster Hadoop. Configuration File: Faça upload do arquivo krb5.conf do cluster Hadoop. Nota Em clusters Hadoop baseados em Linux, o arquivo krb5.conf geralmente está no diretório /etc do NameNode mestre. hmsPrincipals: Identidade do serviço HMS. Execute o comando list_principals no terminal Kerberos do cluster Hadoop para obter os principals do HMS. Exemplo: hive/emr-header-1.cluster-20****@EMR.20****.COM,hive/emr-header-2.cluster-20****@EMR.20****.COM Nota Separe os principals de diferentes nós com vírgula. Cada principal deve corresponder a um endereço de serviço HMS. Add engine permission mapping. Alibaba Cloud account: Conta do Alibaba Cloud usada para acessar o cluster Hadoop por meio do MaxCompute. Kerberos Account: Conta de usuário do Hadoop autorizada pelo Kerberos e com permissões para acessar o Hive. Upload file: Faça upload do arquivo de configuração keytab para a conta Kerberos. Para informações sobre como gerar este arquivo, consulte Generate a keytab configuration file.

   Tabela 4. Criar mapeamento de dados de destino

   Parâmetro	Descrição
   Select external data source object	Por padrão, este parâmetro assume o valor de Select external data source.
   Map target database	Banco de dados de destino no cluster Hadoop.

Etapa 3: Gerenciar o data lakehouse

Informações relacionadas

Para soluções de data lakehouse que usam o formato de armazenamento Delta Lake ou Apache Hudi com um cluster Hadoop, consulte Data lakehouse based on a Hadoop cluster that supports Delta Lake or Apache Hudi.