O que é um data lake | Arquitetura básica de um data lake

O conceito de data lake está muito em alta atualmente. Muitas pessoas discutem como construir um data lake, se a Alibaba Cloud tem uma solução madura de data lake, se essa solução foi realmente implementada e como entender o data lake e os dados. Qual é a diferença entre um data lake e uma plataforma de big data, etc. Esta série de artigos analisará o data lake.

Este artigo inclui o seguinte:
1. O que é um data lake
2. Arquitetura básica de um data lake
3. Framework de data lake baseado em nuvem

O próximo artigo apresentará a diferença entre um data lake e um data warehouse.

Primeiro. O que é um data lake

Antes de planejar a construção de um data lake, é muito importante entender o que é um data lake, esclarecer os componentes básicos de um projeto de data lake e, em seguida, projetar a arquitetura básica do data lake.

Um data lake é um pool de armazenamento unificado que pode ser conectado a múltiplos métodos de entrada de dados. Você pode armazenar dados estruturados, semiestruturados e não estruturados de qualquer escala. O data lake pode se conectar perfeitamente com várias plataformas de computação e análise, processar e analisar dados diretamente, eliminar silos e obter insights sobre o valor empresarial. Ao mesmo tempo, o data lake oferece a capacidade de conversão entre camadas quentes e frias, cobrindo todo o ciclo de vida dos dados.

Existem muitas definições de data lakes, mas basicamente giram em torno das seguintes características:
(1) O data lake precisa fornecer capacidade de armazenamento de dados suficiente, armazenando todos os dados de uma empresa/organização.
(2) O data lake pode armazenar grandes volumes de dados de qualquer tipo, incluindo dados estruturados, semiestruturados e não estruturados.
(3) Os dados no data lake são os dados originais, que são uma cópia completa dos dados empresariais. Os dados no data lake mantêm a forma como estavam no sistema empresarial.
(4) O data lake precisa ter capacidades abrangentes de gerenciamento de dados (metadados completos), podendo gerenciar vários elementos relacionados aos dados, incluindo fontes de dados, formatos de dados, informações de conexão, esquema de dados e gerenciamento de permissões.
(5) O data lake precisa ter capacidades diversificadas de análise, incluindo, mas não se limitando a, processamento em lote, computação em fluxo, análise interativa e machine learning; ao mesmo tempo, também precisa fornecer certas capacidades de agendamento e gerenciamento de tarefas.
(6) O data lake precisa ter capacidades completas de gerenciamento do ciclo de vida dos dados. Não é apenas necessário armazenar os dados originais, mas também poder salvar os resultados intermediários de várias análises e processamentos, e registrar completamente o processo de análise e processamento dos dados, o que pode ajudar os usuários a rastrear o processo de geração de qualquer dado de maneira completa e detalhada.
(7) O data lake precisa ter capacidades completas de aquisição de dados e publicação de dados. O data lake precisa suportar uma variedade de fontes de dados e obter dados completos/incrementais das fontes relacionadas; depois padronizar o armazenamento. O data lake pode enviar os resultados da análise e processamento de dados para um mecanismo de armazenamento adequado para atender a diferentes requisitos de acesso de aplicativos.
(8) Suporte a big data, incluindo armazenamento em ultra larga escala e capacidades escaláveis de processamento de dados em grande escala.

Portanto, um data lake deve ser uma infraestrutura evolutiva e escalável para armazenamento, processamento e análise de big data; orientada a dados, para alcançar aquisição completa e armazenamento completo de qualquer fonte, qualquer velocidade, qualquer escala e qualquer tipo de dado, processamento multimodal e gerenciamento completo do ciclo de vida; e por meio da interação e integração com várias fontes de dados heterogêneas externas, suporta diversos aplicativos empresariais.

Segundo. Arquitetura básica de um data lake

Um data lake possui uma arquitetura plana porque os dados podem ser não estruturados, semiestruturados ou estruturados e coletados de várias fontes dentro de uma organização, enquanto um data warehouse armazena dados em arquivos ou pastas. Data lakes podem ser hospedados on-premises ou na nuvem.

Devido às suas características arquiteturais, o data lake pode ser massivamente escalado até exabytes. Isso é importante porque, ao criar um data lake, muitas vezes não se sabe quantos dados serão necessários armazenar. Sistemas tradicionais de armazenamento de dados não conseguem escalar dessa forma.

Essa arquitetura pode facilitar muito o trabalho dos cientistas de dados, pois eles podem minerar e explorar dados empresariais, compartilhar e cruzar referências de dados (incluindo dados heterogêneos de diferentes domínios) para fazer perguntas e encontrar novas análises. Eles também podem analisar os dados no data lake usando análise de big data e machine learning.

Embora os dados não tenham um padrão fixo antes de serem armazenados em um data lake, com a governança de dados, ainda é possível evitar efetivamente os pântanos de dados. Os dados devem ser marcados com metadados quando armazenados no data lake para garantir o acesso subsequente.

Terceiro. Framework de data lake baseado em nuvem

Os pilares de um data lake incluem armazenamento de dados escalável e durável, mecanismos para coletar e organizar dados e ferramentas para processar e analisar dados e compartilhar descobertas. Portanto, focamos nas tecnologias essenciais que qualquer data lake moderno deve incluir para suportar todos os tipos de dados que o big data representa.

A nuvem oferece recursos ilimitados. Serviços baseados em nuvem são especialmente adequados para data lakes porque fornecem recursos ilimitados, o que significa que a infraestrutura em nuvem pode oferecer recursos quase ilimitados sob demanda em minutos ou segundos, sem preocupações. As organizações pagam apenas pelo que usam, permitindo suportar dinamicamente usuários e cargas de trabalho de qualquer tamanho sem comprometer o desempenho.

Economize e foque na tecnologia em nuvem para dados. Serviços baseados em nuvem oferecem a qualquer organização uma solução construída na nuvem que evita hardware, software e outras infraestruturas caras, investimentos iniciais e custos de manutenção, atualização e segurança de sistemas on-premises.

A tecnologia em nuvem vem com pontos de integração naturais. Estima-se que até 80% dos dados que você deseja analisar venham de dados de aplicativos empresariais, armazenamentos de dados operacionais, dados de clickstream, plataformas de mídia social, dispositivos IoT e dados de streaming em tempo real. Integrar esses dados na nuvem é muito mais fácil e menos custoso do que construir um data center on-premises.

Suporte nativo a NoSQL. Descreve uma tecnologia capaz de armazenar e analisar dados em formatos atualizados, como os gerados por computadores e mídias sociais, para enriquecer e expandir a análise de dados de uma organização. É sabido que data warehouses tradicionais não acomodam bem esses tipos de dados. Como resultado, sistemas mais recentes surgiram nos últimos anos para lidar com essas formas de dados semiestruturados e não estruturados, como JSON, Avro e XML.

Suporte a habilidades e expertise existentes. O Data Lake suporta a funcionalidade necessária para armazenar e processar eficientemente qualquer tipo de dado, gerenciamento de dados, transformação de dados, integração, visualização, business intelligence e ferramentas analíticas que podem se comunicar facilmente com data warehouses SQL. O papel consolidado do SQL padrão também significa que muitas pessoas têm habilidades em SQL, permitindo que outras linguagens de programação extraiam e analisem dados.

As vantagens inerentes da nuvem em termos de custo, escala, desempenho, facilidade de uso e segurança devem ser claramente reconhecidas devido ao seu impacto nos planos e resultados gerais do data lake.

Se você quiser saber mais sobre como a nuvem e o data lake coexistem, participe do "2022 Alibaba Cloud Global Online Data Lake Summit" para conhecer as últimas tendências!.