Data lake vs. Data warehouse

Com a ascensão do conceito de data lake nos últimos anos, o setor tem debatido constantemente a comparação entre data warehouse e data lake. Alguns afirmam que o data lake é a plataforma de big data de próxima geração. Os principais fabricantes de nuvem também estão propondo suas próprias soluções de data lake. Alguns produtos de cloud data warehouse também adicionaram o recurso de integração com o data lake. Mas qual é exatamente a diferença entre um data warehouse e um data lake?

No artigo anterior, apresentamos o que é um data lake, a arquitetura básica de um data lake e um framework de data lake baseado em nuvem. Este artigo analisará a diferença entre um data lake e um data warehouse e apresentará a nova direção da integração e evolução dos dois — lake warehouse one.

1. O que é um data warehouse

O conceito de data warehouse originou-se do campo de bancos de dados, lidando principalmente com cenários complexos de consulta e análise orientados a dados. Com o desenvolvimento da tecnologia de big data, diversas tecnologias de bancos de dados, como linguagem SQL e otimizador de consultas, foram incorporadas para formar o data warehouse de big data, que se tornou predominante devido às suas poderosas capacidades analíticas. Nos últimos anos, a combinação de data warehouse com tecnologia cloud-native produziu o cloud data warehouse, que resolve o problema de provisionamento de recursos para empresas que implantam data warehouses. Como capacidade de plataforma de alto nível (empresarial) de big data, o cloud data warehouse tem atraído cada vez mais atenção devido às suas capacidades de pronto para uso, expansão ilimitada e operação e manutenção simplificadas.

Um data warehouse é uma coleção estratégica que fornece suporte para todos os tipos de dados nos processos de tomada de decisão em todos os níveis de uma empresa. É um repositório único de dados criado para fins de relatórios analíticos e suporte à decisão. Fornece orientação sobre melhoria de processos de negócios, monitoramento de tempo, custo, qualidade e controle para empresas que necessitam de business intelligence.

A essência do data warehouse consiste nas seguintes três partes:
(1) Sistema de armazenamento integrado, em que os dados são fornecidos de forma abstrata (como usando Table ou View), sem expor o sistema de arquivos.
(2) Os dados precisam ser limpos e transformados, geralmente usando o método ETL/ELT.
(3) Ênfase em modelagem e gerenciamento de dados para tomada de decisões de business intelligence.

Com base nos critérios acima, tanto os data warehouses tradicionais (como Teradata) quanto os sistemas emergentes de cloud data warehouse (AWS Redshift, Google BigQuery, Alibaba Cloud MaxCompute) incorporam a essência de design dos data warehouses, e nenhum deles expõe o sistema de arquivos externamente. Trata-se de uma interface de serviço que fornece entrada e saída de dados. Existem várias vantagens nesse design:

(1) O mecanismo compreende profundamente os dados, e armazenamento e computação podem ser otimizados de forma avançada.
(2) Gerenciamento do ciclo de vida dos dados, linhagem de dados completa.
(3) Gerenciamento e governança de dados de granularidade fina.
(4) Capacidades completas de gerenciamento de metadados, facilitando a construção de um centro de dados empresarial.

Por esse motivo, desde o início da construção da plataforma de big data Feitian da Alibaba, adotou-se a arquitetura de data warehouse, ou seja, a plataforma de big data MaxCompute. O MaxCompute (anteriormente ODPS) não é apenas a plataforma de big data da economia da Alibaba, mas também um serviço de computação de big data online na Alibaba Cloud que é seguro, confiável, de alto desempenho, de baixo custo e elasticamente escalável de GB a EB sob demanda (Fig. 6. Esta é a arquitetura do produto MaxCompute. Para mais detalhes, consulte o site oficial do Alibaba Cloud MaxCompute). Como data warehouse empresarial em nuvem no modelo SaaS, o MaxCompute é amplamente utilizado nas economias da Alibaba e por milhares de clientes na Alibaba Cloud, incluindo internet, novo setor financeiro, novo varejo e governo digital.

Graças à arquitetura de data warehouse do MaxCompute, a alta gestão da Alibaba construiu gradualmente capacidades de gerenciamento como "sistema de segurança de dados", "qualidade de dados", "governança de dados" e "rotulagem de dados", formando finalmente a plataforma intermediária de big data da Alibaba. Pode-se dizer que, como pioneira no conceito de plataforma intermediária de dados, a plataforma intermediária de dados da Alibaba se beneficia da arquitetura de data warehouse.

2. A tendência de evolução do banco de dados, data warehouse ao data lake

Os dados do banco de dados têm requisitos de alinhamento; o banco de dados é orientado a aplicações, e cada aplicação pode precisar de um banco de dados. Se uma empresa possui dezenas de aplicações, haverá dezenas de bancos de dados. Como conectar e analisar dezenas de bancos de dados? Não há como.

Então, evoluiu-se do banco de dados para o data warehouse, e o data warehouse não é orientado a nenhuma aplicação específica. No entanto, ele se conecta ao banco de dados. Se for necessário agendar algumas tarefas em lote de ETL diariamente, agregar diferentes aplicações e dados e realizar análises de conexão de acordo com alguns modelos paradigmáticos para obter uma visão geral dos dados durante um determinado período, a premissa é que muitos bancos de dados precisam fornecer dados ao data warehouse.

Com o aumento do volume de dados e a mudança nos tipos de dados, muitos dados não estruturados, como vídeo, áudio e documentos, ocupam uma proporção cada vez maior do total de dados. O data warehouse tradicional tornou-se insuficiente para suportar essa demanda, e cada vez mais empresas desejam manter os dados originais em seu estado inicial real. Impulsionada por essa necessidade, a ideia de um data lake começou a tomar forma, permitindo salvar dados em seu estado original para que as empresas possam realizar análises mais abrangentes a partir de múltiplas dimensões. Os dados podem entrar facilmente no data lake, e os usuários também podem adiar a coleta de dados, a limpeza de dados e o processamento normalizado até que surjam as necessidades de negócios. Nos data warehouses tradicionais, devido aos requisitos do modelo paradigmático, os negócios não podem ser alterados casualmente, e as mudanças envolvem diversas alterações nos dados subjacentes. Em comparação, os data lakes são mais flexíveis e podem se adaptar mais rapidamente às mudanças nas aplicações de dados da camada superior.

3. Data Lake vs. Data Warehouse

O data lake é armazenado no formato original dos dados, com o objetivo de que qualquer dado possa ser armazenado em sua forma mais primitiva, sejam dados estruturados ou não estruturados, garantindo que os dados possam ser utilizados sem perda de detalhes. Todos os dados em tempo real e dados em lote são agregados ao data lake e, em seguida, os dados relevantes são extraídos do lake para machine learning ou análise de dados.

O design data lake-first oferece máxima flexibilidade para os dados que entram no lake, abrindo o armazenamento subjacente de arquivos. Os dados que ingressam no data lake podem ser estruturados, semiestruturados ou até mesmo logs brutos completamente não estruturados. Além disso, o armazenamento aberto também proporciona maior flexibilidade aos mecanismos de camada superior. Vários mecanismos podem ler e gravar dados armazenados no data lake livremente, de acordo com seus próprios cenários, precisando apenas seguir convenções de compatibilidade bastante flexíveis. No entanto, ao mesmo tempo, o acesso direto ao sistema de arquivos dificulta a implementação de muitas funções de nível superior, como gerenciamento de permissões de granularidade fina (inferior à granularidade de arquivo), gerenciamento unificado de arquivos e atualizações de interface de leitura e gravação, que também são muito difíceis (cada acesso precisa ser concluído pelo mecanismo do arquivo, e a atualização é finalizada).

O design data warehouse-first prioriza requisitos de crescimento empresarial, como eficiência no uso de dados, gerenciamento de dados em grande escala e segurança/conformidade. Os dados entram no data warehouse por meio de uma interface de serviço unificada, porém aberta. Geralmente, os dados possuem um esquema predefinido, e os usuários acessam os arquivos no sistema de armazenamento distribuído por meio da interface de serviço de dados ou do mecanismo de computação. O design data warehouse-first proporciona maior desempenho (tanto em armazenamento quanto em computação), sistema de segurança fechado e capacidades de governança de dados, abstraindo as interfaces de acesso aos dados, o gerenciamento de autoridade e os próprios dados. Essas capacidades são essenciais para o uso de big data empresarial a longo prazo — chamamos isso de crescimento.

4. Integração de lake e warehouse

A integração de lakes e warehouses significa que os dois sistemas — data warehouse e data lake — são conectados para que dados e computação fluam livremente entre lakes e warehouses, construindo assim um ecossistema completo e orgânico de tecnologia de big data.

Solução Integrada de Lake e Warehouse da Alibaba Cloud:

Com base na arquitetura original de data warehouse, o Alibaba Cloud MaxCompute integra data lakes open-source e data lakes baseados em nuvem, realizando finalmente a arquitetura geral da integração de lakes e warehouses. Nessa arquitetura, embora múltiplos sistemas de armazenamento subjacentes coexistam, por meio de uma camada unificada de acesso ao armazenamento e gerenciamento unificado de metadados, é fornecida uma interface de encapsulamento integrada ao mecanismo de camada superior, permitindo que os usuários consultem conjuntamente as tabelas no data warehouse e no data lake. A arquitetura geral também possui capacidades unificadas de segurança de dados, gerenciamento e governança.

Com base na tecnologia de integração de lake e warehouse do MaxCompute, o DataWorks pode encapsular ainda mais os dois sistemas de lake e warehouse, ocultar as informações heterogêneas de cluster do lake e do warehouse e construir uma plataforma intermediária de big data integrada, de modo que um conjunto de dados e um conjunto de tarefas possam ser agendados e gerenciados de forma contínua entre o lake e o warehouse. As empresas podem usar as capacidades integradas da plataforma intermediária de dados do lake e warehouse para otimizar a estrutura de gerenciamento de dados e integrar plenamente as vantagens respectivas do data lake e do data warehouse. Utilize o data lake como armazenamento centralizado de dados brutos para aproveitar a flexibilidade e abertura do data lake. Por meio da integração de tecnologias de lake e warehouse, dados e tarefas de alta frequência orientados à produção são despachados de forma contínua para o data warehouse, obtendo melhor desempenho e custo, além de uma série de governança e otimização de dados orientadas à produção no futuro. Encontre o melhor equilíbrio entre eficiência e eficácia.

Em resumo, a integração do MaxCompute, lake e warehouse oferece às empresas uma solução de plataforma de dados mais flexível, eficiente e econômica. É adequada tanto para empresas que estão construindo novas plataformas de big data quanto para empresas com plataformas de big data existentes que desejam atualizar sua arquitetura. Os investimentos existentes podem ser protegidos e o retorno sobre os ativos pode ser concretizado.