Data Lake Formation:Solução de data lake EMR+DLF

Arquitetura

Etapa 1: Criar um cluster EMR DataLake

Ao criar um cluster EMR DataLake, selecione DLF Unified Metadata no campo Metadata.

1. Faça login no console do EMR. No painel de navegação à esquerda, clique em EMR on ECS.

2. Na página EMR on ECS, clique em Create Cluster. Na página E-MapReduce on ECS, configure os parâmetros abaixo.

   • Business Scenario: Selecione Data Lake.

   • Optional Services (Select One At Least): O Hive é obrigatório. Escolha outros serviços conforme suas necessidades de negócio.

   • Metadata: Selecione DLF Unified Metadata.

   • DLF Catalog: Utilize o catálogo padrão do DLF ou crie um novo. Caso ainda não tenha ativado o DLF, o sistema solicitará a ativação prévia.

3. Siga as instruções subsequentes na tela. Para mais detalhes, consulte Create a cluster.

Etapa 2: Inicializar metadados

Escolha um dos métodos abaixo para inicializar os metadados, de acordo com o seu cenário.

• Caso os metadados de um cluster EMR estejam em um banco de dados MySQL integrado ou em um banco ApsaraDB RDS autogerenciado, migre-os para o DLF. Consulte Best practices for EMR metadata migration to DLF para mais informações.

• Se um cluster EMR recém-criado não possuir metadados históricos, utilize o DLF para criá-los visualmente ou empregue Hive/Spark SQL para gerar bancos de dados e tabelas.

  1. Acesse o console do DLF. Na barra de navegação superior, selecione a região onde o Object Storage Service (OSS) está ativado, como China (Hangzhou).

  2. No painel de navegação à esquerda, escolha Metadata > Metadata.

  3. Clique na aba Database e, em seguida, em Create Database.

  4. Na página Create Database, defina os parâmetros desejados e clique em OK.

• Quando os dados de um novo cluster EMR residirem no OSS sem metadados associados, aproveite o recurso metadata discovery do DLF para extraí-los do OSS. Veja mais em Quick start: Taobao user behavior analysis.

Etapa 3: Inicializar dados

Adote uma das abordagens a seguir para inicializar os dados, conforme o cenário:

1. Para migrar dados de um cluster EMR existente, utilize o Jindo DistCp e transfira-os para o OSS.

2. Para importar dados de sistemas como RDS, MySQL e Kafka, use o Realtime Compute for Apache Flink e ingira-os no DLF. Consulte Manage DLF-Legacy catalogs para detalhes.

Etapa 4: Consultar dados em uma tabela específica do DLF usando Spark ou Presto

Conecte-se ao nó master -1-1 do cluster EMR via SSH. Para mais informações, consulte Log on to a cluster.

1. Consulte dados de uma tabela específica com Spark SQL.

   1. Execute o comando abaixo para iniciar o Spark SQL:

      spark-sql

   2. Execute a instrução a seguir para consultar os dados da tabela:

      SELECT * FROM <database>.<table>;

2. Utilize o Presto para consultar dados em uma tabela específica.

   1. Inicie a CLI do Presto com o comando:

      presto --server master-1-1:8889

   2. Execute a consulta abaixo para obter os dados da tabela:

      SELECT * FROM <catalog>.<database>.<table>;

      Parâmetros da instrução acima

      Parâmetro	Descrição
      <catalog>	Nome da fonte de dados alvo da conexão. Use o comando show catalogs; para listar todos os catálogos. Alternativamente, visualize-os na aba Configure do service Presto no console do EMR.
      <database>	Nome do banco de dados a ser consultado.
      <table>	Nome da tabela alvo da consulta.

      Por exemplo, para consultar dados da tabela test no banco default do Hive, execute a instrução SELECT * FROM hive.default.test;.

(Opcional) Etapa 5: Ativar o gerenciamento de permissões de dados

Caso seu negócio exija alta segurança e controle adequado de permissões no data lake, siga os passos abaixo para ativar o gerenciamento de permissões:

1. Ative o gerenciamento de permissões do DLF no seu cluster EMR. Consulte DLF-Auth para mais detalhes.

2. Habilite o gerenciamento de permissões para seus catálogos de dados no DLF. Veja mais em Configure permissions.

Após a configuração, as permissões passam a valer para todos os dados do cluster EMR. Os usuários precisam receber as autorizações necessárias para acessar esses dados.

Para saber como conceder permissões aos usuários, consulte Data authorization. Mais informações estão disponíveis em Unified access control with DLF and EMR.

(Opcional) Etapa 6: Implementar o gerenciamento de ciclo de vida

O recurso de gerenciamento de ciclo de vida permite definir regras para bancos de dados e tabelas do data lake. É possível alterar periodicamente a classe de armazenamento dos dados no OSS com base no tempo de criação da partição/tabela, na última modificação ou no valor da partição, o que ajuda a reduzir custos. Para mais informações, consulte Lifecycle management.