O Data Lake Formation (DLF) ajuda você a governar, proteger e otimizar seu data lakehouse na Alibaba Cloud. O DLF oferece uma plataforma unificada e totalmente gerenciada para gerenciamento de metadados, armazenamento e controle de acesso. A solução integra-se aos mecanismos de análise de big data e aos produtos de IA da Alibaba Cloud, permitindo a criação de data lakes nativos da nuvem e soluções OpenLake sem a necessidade de gerenciar sistemas separados de metadados ou permissões.
O que é um data lake?
Um data lake é um repositório centralizado que armazena dados estruturados e não estruturados em qualquer escala. Diferentemente de um data warehouse, o data lake preserva os dados em formato bruto ou nativo, tornando-os acessíveis a diversas cargas de trabalho de análise e machine learning.
O data lakehouse estende esse modelo ao adicionar gerenciamento de metadados no estilo warehouse e controle de acesso refinado sobre o armazenamento flexível do data lake. Essa abordagem combina o melhor das duas arquiteturas.
Como funciona
O DLF atua como plano de controle do seu data lakehouse:
Registre seus metadados. Conecte seu armazenamento ao DLF e gerencie bancos de dados de metadados pelo console ou API.
Defina permissões uma única vez. Configure o controle de acesso no nível de Catalog, banco de dados ou tabela. Todos os mecanismos de computação integrados aplicam as mesmas regras automaticamente.
Mantenha a integridade do armazenamento. Agende tarefas de otimização — compactação de arquivos, limpeza de snapshots expirados, limpeza de partições expiradas e remoção de arquivos órfãos — para reduzir custos e manter o desempenho das consultas.
Recursos
Metadados e armazenamento unificados
O DLF fornece um único conjunto de metadados e armazenamento de lakehouse compartilhado entre todos os mecanismos de computação integrados. Os dados fluem entre os produtos sem sincronização manual ou duplicação de esquemas.
Gerenciamento unificado de permissões
Configure o controle de acesso uma única vez no nível de Catalog, banco de dados ou tabela. Cada serviço integrado aplica as mesmas permissões, eliminando configurações separadas por mecanismo.
Otimização de armazenamento
O DLF automatiza a manutenção das tabelas do lakehouse por meio de estratégias configuráveis:
|
Estratégia |
Efeito |
|
Compactação de arquivos |
Mescla arquivos pequenos para melhorar o desempenho de varredura |
|
Limpeza de snapshots expirados |
Remove snapshots desatualizados para recuperar espaço de armazenamento |
|
Limpeza de partições expiradas |
Exclui dados de partições vencidas |
|
Limpeza de arquivos órfãos |
Remove arquivos sem referência em nenhuma versão da tabela |
Ecossistema abrangente
O DLF integra-se profundamente aos mecanismos de processamento em lote e em streaming da Alibaba Cloud, além de produtos de IA. Essa integração proporciona uma experiência pronta para uso que simplifica as operações.
Arquitetura
A arquitetura do DLF possui três camadas:
|
Camada |
Capacidades |
|
Gerenciamento de metadados |
Visualize e gerencie bancos de dados de metadados pelo console, crie novos bancos de dados de metadados e integre-se a aplicativos de terceiros. |
|
Gerenciamento de permissões |
Aplique controle de acesso em três níveis: Catalog, banco de dados e tabela. |
|
Otimização de armazenamento |
Execute estratégias de otimização de tabelas do lakehouse para reduzir custos de armazenamento e melhorar a eficiência das consultas. |
Benefícios
|
Benefício |
Descrição |
|
Totalmente gerenciado |
Disponível imediatamente, sem infraestrutura para provisionar ou manter. Oferece suporte a todo o ciclo de vida dos dados com gerenciamento unificado de metadados e armazenamento Paimon. |
|
Segurança de nível empresarial |
O controle duplo sobre permissões de API e de dados em vários níveis de abstração mantém os dados seguros e em conformidade. |
|
Estratégias de otimização flexíveis |
Estratégias configuráveis de compactação de arquivos e limpeza de dados melhoram o desempenho de acesso e reduzem os custos de armazenamento. |
|
Ecossistema rico |
Baseado em integração profunda com Paimon, o DLF conecta seu data lakehouse aos mecanismos de computação e produtos de IA da Alibaba Cloud por meio de um único serviço gerenciado. |
Casos de uso
Data lakehouse
Um data lakehouse lida com diversos tipos de dados e entrega análises de alto desempenho. Utilize o DLF para processar grandes volumes de dados históricos e em tempo real e compartilhe-os como recurso governado entre equipes — cada uma com seus próprios controles de acesso — mantendo segurança robusta dos dados.
Big data tradicional
O DLF suporta cargas de trabalho comuns de big data: análise offline de big data, análise em tempo real, machine learning e análise de arquivos de log. O gerenciamento unificado de metadados e armazenamento simplifica a construção e a governança do seu data lake desde o início.