E-MapReduce:Selecione uma forma de produto

Plataforma de dados totalmente gerenciada e de nível empresarial: Inicie o desenvolvimento de jobs sem construir infraestrutura própria. O serviço oferece funcionalidades completas, desde o desenvolvimento e a depuração de tarefas até a O&M.

Motor de computação de alto desempenho: O Fusion Engine integrado oferece desempenho até quatro vezes superior ao do Spark open source. Suporta o Remote Shuffle Service Celeborn, que fornece capacidades de shuffle no nível de petabytes e reduz custos de computação.

Alta escalabilidade e elasticidade: Construído sobre a base serverless da Alibaba Cloud, o serviço proporciona dimensionamento automático de recursos em segundos. A cobrança ocorre apenas pelos recursos de computação utilizados, o que reduz despesas.

Observabilidade e segurança de recursos: Oferece monitoramento e alertas nos níveis de job e de recurso. A implantação baseia-se em uma VPC e suporta controle de acesso refinado.

Arquitetura aberta e integração com ecossistema: Integra-se perfeitamente ao OSS-HDFS, Data Lake Formation (DLF) e DataWorks. Permite separar computação e armazenamento, além de compartilhar metadados centralizados.

Experiência de desenvolvimento unificada: Inclui gerenciamento de versões integrado e isolamento entre ambientes de desenvolvimento e produção. Suporta desenvolvimento, depuração, publicação e agendamento de jobs.

Execução de jobs Spark com um serviço totalmente gerenciado, eliminando a necessidade de gerenciar recursos de cluster.

Cenários que exigem alta elasticidade e cobrança conforme o uso para obter recursos de computação rapidamente durante picos repentinos de jobs.

Situações que demandam Spark de alto desempenho e plataforma de data lakehouse para suportar lagos de dados ou cargas de trabalho de IA.

Totalmente gerenciado e livre de O&M: Pronto para uso imediato. Oferece gerenciamento visual de instâncias, monitoramento inteligente e diagnósticos de integridade para reduzir significativamente os custos de O&M.

Kernel nativo da nuvem de nível empresarial (Stella): Baseado em arquitetura de armazenamento e computação desacoplados, é profundamente otimizado para desempenho e estabilidade nessa configuração e para análises lakehouse. Suporta isolamento para múltiplos grupos de computação, garantindo isolamento de recursos para serviços críticos.

Plataforma unificada de gerenciamento de dados: Integra funcionalidades como editor SQL, controle de permissões, visualizações materializadas, tarefas de importação e diagnósticos SQL para aumentar a eficiência do desenvolvimento e da gestão.

Desempenho de consulta de alta velocidade: A arquitetura distribuída de Processamento Massivamente Paralelo (MPP) e o mecanismo de execução totalmente vetorizado melhoram o desempenho das consultas em 3 a 10 vezes.

Otimização inteligente de consultas: O otimizador baseado em custo (CBO) seleciona automaticamente o plano de execução ideal para aumentar a eficiência de consultas complexas.

Atualizações de dados em tempo real: O armazenamento colunar suporta importação de dados em segundos, transações ACID (atomicidade, consistência, isolamento e durabilidade) e upserts eficientes para atender às necessidades de análise em tempo real.

Análises de data lakehouse: Visualizações materializadas inteligentes sincronizam-se automaticamente para simplificar o processo de extração, transformação e carga (ETL). Há suporte nativo para consultas eficientes em formatos de data lake como Paimon, Iceberg, Hudi, Delta Lake e Hive.

Análise OLAP multidimensional: Suporta análise multidimensional flexível e consultas ad hoc. É amplamente utilizado em cenários como relatórios operacionais, personas de usuários, plataformas de métricas e análises de BI para auxiliar na tomada de decisões orientadas por dados.

Data warehouse em tempo real: Fornece ingestão e atualização de dados em segundos. Adequa-se a cenários de negócios que exigem baixa latência, como monitoramento de estoque em tempo real, rastreamento de pedidos, análise de comportamento do usuário e controle de risco em tempo real.

Processamento e análise lakehouse: Conecta-se perfeitamente a armazenamentos de data lake como OSS e HDFS. Permite consultar diretamente formatos como Paimon e Iceberg, eliminando silos de dados e viabilizando análises unificadas e eficientes.

Componentes abrangentes: Integra componentes open source como Hadoop, Spark, Hive, Flink e Presto, além de componentes proprietários como OSS-HDFS, JindoCache e DLF-Auth. Atende a vários cenários, incluindo processamento em lote, processamento de fluxo e data lakes.

Flexibilidade e controle: Faça login nas instâncias ECS para realizar operações personalizadas. O serviço oferece capacidades para criação rápida de clusters, dimensionamento automático, gerenciamento de configurações e O&M visual.

Estabilidade e facilidade de uso: Utiliza componentes 100% open source da comunidade, otimizados para o ambiente de nuvem, melhorando o desempenho e evitando problemas de compatibilidade de versões. Configure um ambiente de computação de big data em minutos e ajuste a escala de recursos com um único clique.

Custo-benefício: Permite usar recursos de computação sob demanda e suporta métodos de cobrança por assinatura ou pagamento conforme o uso. Oferece armazenamento em camadas automático para dados quentes e frios, além de um rico conjunto de ferramentas de O&M para reduzir custos totais.

Dimensionamento automático: Ajuste dinamicamente o tamanho do cluster com base no tempo ou na carga de trabalho. Há suporte a múltiplos tipos de recursos elásticos.

Integração profunda: Integra-se profundamente a serviços da Alibaba Cloud como OSS, DataWorks e DLF. Use o EMR como motor de computação para jobs no DataWorks.

Plataformas de big data de nível empresarial que requerem controle total sobre recursos de computação e armazenamento.

Requisitos de personalização para ambientes de implantação e configurações, como instalação de componentes open source específicos ou ajuste de parâmetros de kernel.

Cenários que exigem equilíbrio entre custo e desempenho, com suporte para jobs em lote de longa duração ou cargas de trabalho mistas.

Compartilhamento de recursos do cluster Kubernetes: Execute jobs como Spark e Presto em um cluster ACK existente. Compartilhe recursos de contêiner com serviços online e recursos de computação entre zonas.

Economia de custos: Não é necessário adquirir um cluster ACK separado. Reutilize recursos ociosos do cluster ACK para executar jobs do EMR com um único clique. Ideal para implantações híbridas de serviços online e offline.

O&M simplificada: Gerencie aplicações online e tarefas de big data por meio de um sistema unificado de O&M. Utilize as capacidades do ACK e do Elastic Container Instance (ECI) para obter recursos de computação elástica mais rapidamente.

Experiência otimizada: Ajuste a versão do Spark no nível do job para experimentar novos recursos rapidamente. Alterne perfeitamente entre modelos de recursos ECS e ACK.

Integração profunda com arquitetura de data lake: Adota uma arquitetura de data lake nativa da nuvem. Usa o ACK para computação e o OSS para armazenamento, alcançando a separação entre armazenamento e computação. O DLF gerencia os metadados.

Você já possui um cluster ACK e deseja executar tarefas de big data e aplicações online no mesmo cluster para alcançar pooling de recursos e agendamento elástico.

Cenários com alta demanda por gerenciamento conteinerizado, exigindo combinação da elasticidade do Kubernetes com o ecossistema nativo da nuvem (como CI/CD, service mesh e microsserviços).

Situações em que se deseja construir rapidamente uma arquitetura de data lake e usar o DLF para gerenciar metadados.