O EMR on ACK permite executar cargas de trabalho de big data open source no Alibaba Cloud Container Service for Kubernetes (ACK). O ACK gerencia o ciclo de vida dos contêineres e a implantação de serviços para que sua equipe foque nas tarefas de big data, e não na infraestrutura do cluster.
Público-alvo
Se você já utiliza o EMR on ECS, crie um cluster EMR on ACK para executar tarefas do Spark e do Presto junto às cargas de trabalho existentes. Diferentes aplicações compartilham um único cluster ACK, e os recursos de computação podem ser compartilhados entre zonas.
Se você já executa tarefas de big data no ACK, o EMR on ACK automatiza a implantação e o gerenciamento de clusters para cargas de trabalho do Spark e do Presto. Combine o EMR on ACK com o EMR Shuffle Service para melhorar significativamente o desempenho das tarefas do Spark.
Comparação de recursos
O Alibaba Cloud E-MapReduce (EMR) oferece dois modelos de implantação para atender a diferentes necessidades de infraestrutura.
|
Tipo |
Descrição |
|
EMR on ECS |
O EMR implanta componentes do ecossistema Hadoop open source em instâncias do Elastic Compute Service (ECS) e os executa como serviços. Gerencie as instâncias do ECS e os serviços no console do EMR e envie tarefas de big data para o cluster. |
|
EMR on ACK |
Implante primeiro um cluster ACK. Em seguida, o EMR implanta componentes de serviço de big data nos recursos do ACK e os executa em contêineres. |
Vantagens
Custo-benefício
Execute tarefas de big data em um cluster ACK existente com configuração mínima, sem necessidade de clusters separados para serviços de big data. Reutilize recursos ociosos do cluster para executar cargas de trabalho do EMR, como tarefas do Spark e do Presto, com um único clique. Em cenários de cargas mistas online e offline, as aplicações de big data e online compartilham recursos do cluster. Isso possibilita o deslocamento de picos de carga e maximiza a utilização dos recursos.
O&M simplificado
Um único sistema de O&M e gerenciamento de cluster abrange tanto os serviços de big data quanto os de aplicações online, o que simplifica a operação.
Experiência do usuário otimizada
O EMR suporta dois modelos de Infraestrutura como Serviço (IaaS) — EMR on ECS e EMR on ACK — com alternância perfeita entre eles. O ACK e o Elastic Container Instance (ECI) fornecem recursos de computação elástica rapidamente para lidar com demandas de pico. Ajuste a versão do Spark no nível da tarefa para testar novos recursos ou atender a diferentes requisitos de negócios sem alterar todo o cluster.
Integração profunda
O EMR on ACK utiliza uma arquitetura de data lake nativa da nuvem:
Computação: O Alibaba Cloud ACK fornece dimensionamento ilimitado de recursos de computação.
Armazenamento: O Alibaba Cloud Object Storage Service (OSS) desacopla o armazenamento da computação.
Metadados: O Data Lake Formation (DLF) gerencia metadados para dar suporte ao seu data lake.