Data Lake Formation:Solução de data lake EMR+DLF

Etapa 1: Crie um cluster EMR DataLake

Ao criar um cluster EMR DataLake, selecione DLF Unified Metadata no campo Metadata.

1. Faça login no console do EMR. No painel de navegação à esquerda, clique em EMR on ECS.

2. Na página EMR on ECS, clique em Create Cluster. Na página E-MapReduce on ECS, configure os parâmetros abaixo.

   • Business Scenario: Selecione Data Lake.

   • Optional Services (Select One At Least): O serviço Hive é obrigatório. Escolha outros serviços conforme suas necessidades de negócio.

   • Metadata: Selecione DLF Unified Metadata.

   • DLF Catalog: Utilize o catálogo padrão do DLF ou crie um novo. Caso ainda não tenha ativado o DLF, o sistema solicitará a ativação prévia.

3. Siga as instruções exibidas para concluir as etapas restantes. Para mais detalhes, consulte Criar um cluster.

Etapa 2: Inicializar metadados

Diferentes cenários exigem métodos distintos para inicialização de metadados.

• Caso os metadados de um cluster EMR estejam armazenados em um banco MySQL integrado ou em uma instância ApsaraDB RDS autogerenciada, migre-os para o DLF. Consulte Melhores práticas para migração de metadados do EMR para o DLF.

• Se um cluster EMR recém-criado não possuir metadados históricos, utilize o DLF para criá-los visualmente ou empregue Hive ou Spark SQL para definir bancos de dados e tabelas.

  1. Acesse o console do DLF. Na barra de navegação superior, selecione a região onde o Object Storage Service (OSS) foi ativado, como China (Hangzhou).

  2. No painel de navegação à esquerda, escolha Metadata > Metadata.

  3. Clique em aba Database e, em seguida, clique em Create Database.

  4. Na página Create Database, preencha os parâmetros necessários e clique em OK.

• Quando os dados de um novo cluster EMR residirem no OSS sem metadados associados, aproveite o recurso de descoberta de metadados do DLF para extrair metadados do OSS diretamente para o DLF. Veja mais em Início rápido: Análise de comportamento de usuários do Taobao.

Etapa 3: Inicializar dados

Utilize os métodos adequados para cada cenário de inicialização de dados:

1. Para migrar dados de um cluster EMR existente, utilize o Jindo DistCp e transfira os dados do cluster para o OSS.

2. Para importar dados de sistemas operacionais como RDS, MySQL e Kafka, utilize o Realtime Compute for Apache Flink e direcione os dados para o DLF. Consulte Gerencie catálogos DLF-Legacy.

Etapa 4: Consultar dados em uma tabela específica do DLF usando Spark ou Presto

Conecte-se ao nó mestre -1-1 do cluster EMR via SSH. Para mais informações, consulte Fazer login em um cluster.

1. Consulte dados de uma tabela específica com Spark SQL.

   1. Execute o comando abaixo para iniciar o Spark SQL:

      spark-sql

   2. Execute a instrução a seguir para consultar os dados da tabela:

      SELECT * FROM <database>.<table>;

2. Consulte dados em uma tabela específica com Presto.

   1. Inicie a CLI do Presto com o comando:

      presto --server master-1-1:8889

   2. Execute a instrução abaixo para consultar os dados da tabela:

      SELECT * FROM <catalog>.<database>.<table>;

      Parâmetros da instrução acima

      Parâmetro	Descrição
      <catalog>	Nome da fonte de dados desejada. Execute o comando show catalogs; para listar todos os catálogos disponíveis. Alternativamente, visualize-os na aba Configure da página do serviço Presto no console do EMR.
      <database>	Nome do banco de dados alvo da consulta.
      <table>	Nome da tabela a ser consultada.

      Por exemplo, para consultar dados da tabela test no banco default do Hive, execute a instrução SELECT * FROM hive.default.test;.

(Opcional) Etapa 5: Ative o gerenciamento de permissões de dados

Certos cenários de negócio demandam alta segurança e controle rigoroso de permissões em data lakes. Para habilitar o gerenciamento de permissões de dados, siga estas etapas:

1. Ative o gerenciamento de permissões do DLF no seu cluster EMR. Consulte DLF-Auth.

2. Habilite o gerenciamento de permissões para seus catálogos de dados no DLF. Veja mais em Configure permissões.

As permissões configuradas aplicam-se a todos os dados do cluster EMR. Para acessar qualquer dado no cluster, os usuários precisam receber as permissões apropriadas.

Para conceder permissões aos usuários, consulte Autorização de dados. Para informações complementares, veja Controle de acesso unificado com DLF e EMR.

(Opcional) Etapa 6: Implementar o gerenciamento de ciclo de vida

O recurso de gerenciamento de ciclo de vida permite definir regras de gestão para bancos de dados e tabelas dentro de um data lake. Você pode alterar periodicamente a classe de armazenamento dos dados no OSS com base em três tipos de regras: data de criação de partições e tabelas, última modificação de partições e tabelas, e valor da partição. Essa abordagem reduz significativamente os custos de armazenamento. Para mais detalhes, consulte Gerenciamento de ciclo de vida.