Armazenamento de Data Lake

O Object Storage Service (OSS) do Alibaba Cloud oferece escalabilidade, durabilidade e desempenho líderes do setor. É possível armazenar e proteger qualquer quantidade de dados com 99,9999999999% (12 noves) de durabilidade como base de armazenamento escalável, segura e econômica para seu data lake. É fácil ingerir dados de dispositivos IoT, ambientes on-premises e nuvem para seu data lake e configurar regras de ciclo de vida dos dados para armazenar dados quentes e frios em diferentes classes de armazenamento com base nos requisitos de acesso e custos. Também é possível aproveitar o JindoFS para fazer cache de dados quentes e acelerar o acesso aos dados por meio da interface HDSF para frameworks de análise de dados (como Apache Spark, Apache Hive, Presto e TensorFlow).

Saiba mais >

Data Lake Formation

O Data Lake Formation (DLF) é um componente essencial do framework de data lake nativo da nuvem e oferece uma maneira simples de construir um data lake nativo da nuvem. O DLF se integra perfeitamente a diversos mecanismos de computação. Permite gerenciar metadados do data lake de forma centralizada e controlar permissões de nível empresarial. Possui uma arquitetura que separa computação de armazenamento, permitindo planejar recursos sob demanda com baixos custos e melhorar a eficiência do processamento de dados. É possível conectá-lo a diferentes plataformas de computação e análise de dados para obter insights sobre o valor do negócio e usar o JindoFS para acelerar a análise do data lake com alto desempenho.

Saiba mais >

Computação de Data Lake

O Alibaba Cloud oferece uma variedade de mecanismos de computação de dados para atender a diversas necessidades de processamento de dados. O Elastic MapReduce (EMR) permite usar os componentes do ecossistema Hadoop e Spark (como Apache Hive, Apache Kafka, Flink, Druid e TensorFlow) para analisar e processar dados armazenados em diferentes serviços de armazenamento de dados do Alibaba Cloud, incluindo Object Storage Service (OSS), Simple Log Service (SLS) e ApsaraDB RDS. O MaxCompute suporta diferentes formatos de data lake (como Delta Lake e Hudi). É possível conectá-lo a diferentes fontes de dados para permitir consultas eficazes em conjuntos de dados massivos. O Hologres se conecta perfeitamente ao Data Lake Formation para ler metadados e dados em tempo real e analisa dados na escala de PB com alta concorrência e baixa latência. É possível realizar mineração e análise de dados para suportar serviços inteligentes de negócios conectando o Platform for AI a esses mecanismos de dados.

• E-MapReduce
• Hologres
• Realtime Compute for Apache Flink
• MaxCompute

Desenvolvimento e governança de dados

O DataWorks é uma plataforma pronta para uso que fornece serviços profissionais, eficientes, seguros e confiáveis de desenvolvimento e governança de big data com base em mecanismos de computação de big data (como MaxCompute, E-MapReduce (EMR) e Hologres). O DataWorks integra as melhores práticas de mid-end de dados e governança de dados do Alibaba para ajudar a agendar, executar e monitorar uma grande quantidade de tarefas de diferentes tipos (como integração de dados, machine learning e MaxCompute SQL) e processar centenas de PB de dados diariamente com alta estabilidade. Você pode arrastar e soltar para personalizar seu fluxo de trabalho de dados e obter informações visualizadas sobre o desenvolvimento de dados.

• DataWorks