O E-MapReduce (EMR) é uma plataforma de big data open source na Alibaba Cloud, construída sobre Apache Hadoop e Apache Spark. Use o EMR para processar e analisar dados com os ecossistemas Hadoop e Spark, além de transferir dados entre services da Alibaba Cloud, como Object Storage Service (OSS) e ApsaraDB RDS.
Opções de implantação
O EMR oferece as seguintes opções de implantação:
|
Tipo |
Descrição |
|
EMR on ECS |
Implanta componentes do ecossistema Hadoop open source em instâncias do Elastic Compute Service (ECS). Gerencie clusters e services diretamente pelo console do EMR. |
|
EMR on ACK |
Implante um cluster do Container Service for Kubernetes (ACK) e execute componentes de big data do EMR em contêineres nos recursos do ACK. What is EMR on ACK? |
|
EMR Serverless Spark |
O EMR Serverless Spark é um mecanismo lakehouse totalmente gerenciado para cargas de trabalho de dados e IA. É 100% compatível com o Spark open source — execute jobs existentes com |
O EMR baseia-se em services open source da comunidade, como Apache Hadoop, Spark, Flink e StarRocks. A responsabilidade por O&M varia conforme a opção de implantação:
O EMR on ECS e o EMR on ACK são semigerenciados. Os recursos do cluster pertencem à sua conta Alibaba Cloud, e você é responsável pelo O&M rotineiro dos services open source, incluindo planejamento de capacidade, ajuste de parâmetros e solução de problemas. Garanta expertise interna em O&M de big data para manter suas cargas de trabalho em funcionamento.
O EMR Serverless Spark e o EMR Serverless StarRocks são totalmente gerenciados. A Alibaba Cloud opera os recursos subjacentes e os services do mecanismo, permitindo que você se concentre apenas no desenvolvimento de jobs e na análise de dados.
Para consultar o escopo completo de suporte, veja Scope and methods of technical support.
Benefícios
EMR on ECS
Services de big data open source de nível empresarial. Implante clusters Hadoop, Spark, Flink, Kafka e HBase rapidamente.
Componentes 100% open source da comunidade, adaptados e otimizados para oferecer desempenho superior às versões originais.
Dimensionamento elástico baseado em tempo com suporte a Spot Instance para redução de custos.
Computação e armazenamento desacoplados para utilização elástica de recursos.
Crie e dimensione clusters em minutos, sem configuração manual.
EMR on ACK
Custo-benefício: Não exige um cluster ACK separado.
O&M simplificado: Gerenciamento unificado de clusters para services de big data e online.
Infraestrutura flexível: Suporta modelos de recursos ECS e ACK com alternância perfeita.
Integração profunda: Arquitetura de data lake nativa da nuvem com computação baseada em ACK para dimensionamento ilimitado.
EMR Serverless Spark
-
Mecanismo de computação de alta velocidade nativo da nuvem
Fusion Engine integrado (Spark Native Engine): Oferece desempenho 300% superior à versão open source e acelera significativamente jobs de computação de big data. Um mecanismo vetorizado e tecnologias de processamento de dados em lote otimizam a eficiência da computação e reduzem o uso de memória, melhorando muito o desempenho geral.
Celeborn integrado (Remote Shuffle Service): Suporta processamento de dados shuffle na escala de petabytes e melhora substancialmente a estabilidade e o desempenho de grandes jobs de shuffle. Os nós de computação não exigem discos de grande capacidade. A capacidade de dimensionamento dinâmico de recursos do Spark é totalmente aproveitada para reduzir custos de armazenamento e diminuir o custo total de recursos de computação em até 30%.
-
Arquitetura aberta de data lake
Dimensionamento elástico sob demanda: Suporta arquitetura de separação entre armazenamento e computação. Os recursos de computação podem ser dimensionados em segundos, com granularidade mínima de um núcleo. Os recursos são medidos no nível refinado de job ou fila. O armazenamento utiliza o método de faturamento pagamento conforme o uso para evitar desperdício de recursos e reduzir significativamente os custos operacionais empresariais.
Migração perfeita e compatibilidade: Integra-se ao OSS-HDFS, um service de armazenamento em cloud totalmente compatível com HDFS, para suportar a migração suave de suas cargas de trabalho para a cloud. O DLF fornece interconexão abrangente de metadados para o lakehouse, garantindo consistência no acesso aos dados e gerenciamento completo de permissões, ajudando você a construir uma arquitetura moderna de data lakehouse com facilidade.
-
Experiência de desenvolvedor completa
Suporte a desenvolvimento ponta a ponta: Oferece uma experiência de desenvolvimento completa que abrange desenvolvimento, depuração, lançamento e agendamento de jobs, atendendo aos altos padrões de desenvolvimento e lançamento de nível empresarial. O recurso integrado de gerenciamento de versões registra o histórico completo de lançamentos e suporta comparação de diferenças de source code e configuração para garantir que as alterações sejam rastreáveis.
Colaboração eficiente e estabilidade: Os ambientes de desenvolvimento e produção são estritamente isolados para garantir a estabilidade do negócio e apoiar a colaboração eficiente da equipe e a entrega estável.
-
Plataforma de recursos serverless
Pronto para uso: Inicie rapidamente o desenvolvimento de jobs sem gerenciamento manual ou configuração complexa de infraestrutura.
Elasticidade em nível de segundo: Os recursos são provisionados dinamicamente para iniciar pods com base nos requisitos de recursos dos jobs Spark e são liberados imediatamente após a conclusão da computação. Você paga apenas pelos recursos que realmente utiliza, o que reduz ainda mais o custo total de computação.
Estimativa de custos: Fornece medição de recursos e estimativa de custos no nível do job para ajudar as empresas a alcançarem operações refinadas.