Get started with Data Lake Formation (DLF) - Data Lake Formation: Central de Documentação do Alibaba Cloud

Pré-requisitos

O DLF armazena todos os dados do data lake no Object Storage Service (OSS). Especifique um bucket ou caminho OSS para o armazenamento do lake. Para obter mais informações, consulte Create a bucket.

Página inicial

A página inicial do console do DLF oferece um painel de navegação e acesso rápido a todos os principais recursos.

Recursos

O DLF integra gerenciamento de metadados, gerenciamento de permissões, gerenciamento de segurança, gerenciamento do lake e exploração de dados com um clique em uma plataforma unificada.

Gerenciamento de metadados

Gerencie catálogos, bancos de dados e tabelas no seu data lake. O gerenciamento centralizado de metadados aumenta o valor e a disponibilidade dos ativos de dados.

Criar um catálogo

Faça login no console do Data Lake Formation.
No painel de navegação à esquerda, escolha Metadata > Metadata.
Clique na aba Catalogs e, em seguida, clique em New Catalog.
Configure os parâmetros a seguir e clique em OK.
- Catalog ID: Obrigatório. Identificador exclusivo do catálogo de dados.
- Description: Opcional. Descrição do catálogo de dados.
- Location: Opcional. Caminho de armazenamento padrão. Somente caminhos OSS são compatíveis.

Para obter mais informações sobre as operações disponíveis em catálogos, consulte Data catalog.

Criar um banco de dados

Faça login no console do Data Lake Formation (DLF).
No painel de navegação à esquerda, selecione Metadata > Metadata.
Clique em Database, selecione o Catalogs desejado e, em seguida, clique em Create Database.

Configure os parâmetros do banco de dados e clique em OK.

Parâmetro	Descrição
Catalog	Selecione o catálogo de dados em que deseja criar o banco de dados.
Name	Insira um nome para o banco de dados.
Description	Opcional. Insira uma descrição para o banco de dados.
Select the path.	Especifique um caminho no Object Storage Service (OSS) para armazenar os metadados. O armazenamento de metadados no OSS garante segurança e confiabilidade dos dados, além de simplificar o gerenciamento e a manutenção. Nota Somente buckets OSS com armazenamento Standard storage são compatíveis. Se não houver um bucket Standard storage na região atual, crie um no console do OSS.

Criar uma tabela

Após criar um banco de dados, clique na aba Data Table. Selecione o Catalogs e o Database Name desejados e, em seguida, clique em Create Table.

Configure os parâmetros da tabela e clique em OK.

Parâmetro	Descrição
Table Name	Insira um nome para a tabela.
Catalog	Selecione o catálogo de dados para a tabela.
Database:	Selecione um banco de dados dentro do catálogo de dados.
Table Description	Opcional. Insira uma descrição para a tabela.
Data Storage Location	Selecione o local de armazenamento dos dados da tabela. O local de armazenamento padrão recomendado é `oss://[database_location]/[table_name]`.
Format and Serialization	Selecione o formato de dados da tabela. Os formatos compatíveis incluem Avro, CSV, JSON, Parquet e ORC.
Delimiter	Opcional. Se você selecionar o formato CSV, especifique um delimitador.
Common Column	Defina manualmente as colunas e chaves de partição da tabela. Especifique o nome, o tipo de dado e a descrição de cada uma.
Partition Key Column

Para obter mais informações sobre as operações disponíveis em bancos de dados e tabelas, consulte Databases, tables, and functions.

Extrair metadados

A extração de metadados analisa os arquivos do data lake e gera metadados automaticamente. Para obter mais informações, consulte Metadata discovery.

Migrar metadados

Migre rapidamente metadados de um Hive metastore para o DLF. Para obter mais informações, consulte Metadata migration.

Gerenciamento de permissões

O DLF aplica dois níveis de controle de acesso: permissões RAM e permissões de dados do DLF. Ambas precisam ser aprovadas para que você acesse páginas ou dados.

Permissões RAM: controlam o acesso às operações de API e às páginas do console do DLF. Para obter mais informações, consulte Permissions.
Permissões de dados do DLF: controlam o acesso aos recursos do DLF, incluindo bancos de dados, tabelas, colunas, funções e catálogos.
- Gerencie o acesso em nível de recurso com Data permissions.
- Conceda acesso por meio de Data authorization.

Gerenciamento do lake

O gerenciamento do lake abrange hospedagem de localização, visão geral do armazenamento, gerenciamento de ciclo de vida, gerenciamento de formatos do lake e permissões de armazenamento. Configure a hospedagem de localização para habilitar o gerenciamento completo do data lake.

Gerencie e analise dados armazenados no OSS com Location hosting.
Monitore o uso de recursos de armazenamento e identifique oportunidades de otimização com Storage overview.
Configure regras de gerenciamento de dados com Lifecycle management.
Otimize os formatos do lake com Lake format management.

Melhores práticas

O DLF integra-se ao E-MapReduce (EMR), ao Realtime Compute for Apache Flink e ao MaxCompute para extrair e migrar metadados e ingerir dados em data lakes.