Data Lake Formation:Primeiros passos

Criar um catálogo

1. Faça login no console do Data Lake Formation.

2. No painel de navegação à esquerda, escolha Metadata > Metadata.

3. Clique na aba Catalogs e, em seguida, clique em New Catalog.

4. Configure os parâmetros a seguir e clique em OK.

   • Catalog ID: Obrigatório. Identificador exclusivo do catálogo de dados.

   • Description: Opcional. Descrição do catálogo de dados.

   • Location: Opcional. Caminho de armazenamento padrão. Somente caminhos do OSS são compatíveis.

Para mais informações sobre as operações disponíveis em catálogos, consulte Catálogo de dados.

Criar um banco de dados

1. Faça login no console do Data Lake Formation (DLF).

2. No painel de navegação à esquerda, selecione Metadata > Metadata.

3. Clique na aba Database, selecione o Catalogs desejado e clique em Create Database.

4. Configure os parâmetros do banco de dados e clique em OK.

   Parâmetro	Descrição
   Catalog	Selecione o catálogo de dados onde deseja criar o banco de dados.
   Name	Insira um nome para o banco de dados.
   Description	Opcional. Insira uma descrição para o banco de dados.
   Select the path.	Especifique um caminho do Object Storage Service (OSS) para armazenar os metadados. O armazenamento de metadados no OSS garante a segurança e a confiabilidade dos dados, além de simplificar o gerenciamento e a manutenção. Nota Somente buckets do OSS que utilizam Standard storage são compatíveis. Caso não exista um bucket de Standard storage na região atual, crie um no console do OSS.

Criar uma tabela

1. Após criar um banco de dados, clique na aba Data Table. Selecione o Catalogs e o Database Name desejados e clique em Create Table.

2. Configure os parâmetros da tabela e clique em OK.

   Parâmetro	Descrição
   Table Name	Insira um nome para a tabela.
   Catalog	Selecione o catálogo de dados da tabela.
   Database:	Selecione um banco de dados no catálogo de dados.
   Table Description	Opcional. Insira uma descrição para a tabela.
   Data Storage Location	Selecione o local de armazenamento dos dados da tabela. O local de armazenamento padrão recomendado é oss://[database_location]/[table_name].
   Format and Serialization	Selecione o formato de dados da tabela. Os formatos compatíveis incluem Avro, CSV, JSON, Parquet e ORC.
   Delimiter	Opcional. Se selecionar o formato CSV, especifique um delimitador.
   Common Column	Defina manualmente as colunas e as chaves de partição da tabela. Especifique o nome, o tipo de dados e a descrição de cada item.
   Partition Key Column

Para mais informações sobre operações em bancos de dados e tabelas, consulte Bancos de dados, tabelas e funções.

Extrair metadados

A extração de metadados analisa arquivos do data lake e gera metadados automaticamente. Para mais informações, consulte Descoberta de metadados.

Migrar metadados

Migre rapidamente metadados de um metastore Hive para o DLF. Para mais informações, consulte Migração de metadados.