O EMR on ECS execute o Apache Hadoop, Spark, Flink, Hive e outros componentes de open source para big data em instâncias do ECS da Alibaba Cloud. Ele inclui componentes desenvolvidos internamente, como o OSS-HDFS e o JindoCache, além de integrações com o DataWorks e o DLF. Ele aceita os modelos de faturamento por assinatura e pagamento conforme o uso, permitindo criar clusters elásticos de big data em poucos minutos.
O EMR tem como base services de open source da comunidade, como Apache Hadoop, Spark, Flink e StarRocks, e fornece a plataforma de gerenciamento de clusters para esses services. O EMR on ECS é semigerenciado: os recursos do cluster pertencem à sua conta da Alibaba Cloud, e você é responsável pelas operações e manutenção (O&M) de rotina dos services de open source, incluindo planejamento de capacidade, ajuste de parâmetros e solução de problemas. Certifique-se de ter uma equipe interna com especialização em O&M de big data para manter suas cargas de trabalho em execução. Para conhecer o escopo completo do suporte, consulte Scope and methods of technical support.
Arquitetura
O EMR integra services da Alibaba Cloud e componentes de open source, além de componentes desenvolvidos internamente, e oferece recursos de gerenciamento de clusters. Para obter detalhes sobre os tipos de componentes e os casos de uso compatíveis, consulte Components e Use scenarios.
Services da Alibaba Cloud
Os clusters são executados em instâncias do ECS.
É possível armazenar dados no Object Storage Service (OSS).
O EMR se integra ao DataWorks. Este utiliza o EMR como mecanismo de computação de tarefas e armazenamento de dados.
O EMR Workflow é um service totalmente gerenciado para agendar fluxos de trabalho e tarefas.
Componentes de open source
O EMR reúne componentes de big data de open source em seis categorias: integração de dados, armazenamento de dados, gerenciamento de recursos, mecanismos de computação, desenvolvimento de dados e service de dados.
Componentes desenvolvidos internamente
O EMR fornece três componentes desenvolvidos internamente que estendem os recursos de open source na infraestrutura da Alibaba Cloud:
OSS-HDFS: uma solução de armazenamento de objetos compatível com as APIs do Hadoop Distributed File System (HDFS). As tarefas de computação de big data acessam os dados do OSS diretamente pelo protocolo padrão do HDFS.
JindoCache: uma solução de cache distribuído que armazena blocos de dados na memória para melhorar o desempenho de leitura e reduzir a pressão sobre o sistema de armazenamento subjacente.
DLF-Auth: um componente do Data Lake Formation (DLF) para gerenciar permissões de dados do DLF.
Gerenciamento de clusters
Crie clusters, escale-os e configure regras de Auto Scaling.
Gerencie configurações de clusters e services e execute operações e manutenção (O&M) em nós e services.
Monitore a integridade do cluster por meio de métricas multidimensionais, análise de relatórios do cluster e alertas.
Benefícios
|
Capacidade |
Descrição |
|
Componentes de open source estáveis |
Cada versão do EMR inclui as versões mais recentes dos componentes de open source e elimina problemas de compatibilidade entre versões de diferentes componentes. O ambiente de implantação da Alibaba Cloud oferece um desempenho muito superior às compilações padrão da comunidade. Para mais informações sobre os services compatíveis com diferentes versões de clusters do EMR, consulte Release version. |
|
Facilidade de uso |
Crie um ambiente de computação de big data em poucos minutos, sem precisar implantar ou iniciar services manualmente. Ajuste o tamanho do cluster com alguns cliques. O monitoramento e os alertas integrados com diagnóstico inteligente reduzem o tempo de solução de problemas. |
|
Custo-benefício |
Pague apenas pelos recursos de computação utilizados. O sistema distribui dados quentes e frios em camadas de armazenamento para reduzir os custos unitários. Várias ferramentas de O&M, diagnóstico inteligente e plataformas de big data reduzem ainda mais a sobrecarga operacional. |
|
Escalabilidade |
Aumente ou diminua os recursos do cluster com base na carga ou em um agendamento. O Auto Scaling leva apenas alguns minutos e oferece suporte a vários tipos de recursos elásticos. |
|
Integração profunda |
Implante clusters no ECS ou no Container Service for Kubernetes (ACK). Há suporte a diversos tipos de instâncias do ECS. Para obter mais informações, consulte ECS instances. Integre com o DataWorks para agendar tarefas. Use o DLF para gerenciar metadados de forma centralizada em vários mecanismos em cenários de data lake. |
|
O&M com assistência de IA |
O EMR AI Assistant nativo lê o estado de execução e os dados de monitoramento do seu cluster para responder a perguntas, diagnosticar o desempenho, verificar a integridade e enviar alertas. Converse com ele no console ou adicione-o a um grupo do DingTalk ou Lark. Para obter informações detalhadas, consulte Introduction to the EMR AI Assistant Feature. |
Para obter uma comparação detalhada com clusters Hadoop autogerenciados, consulte Comparison between EMR clusters and self-managed Hadoop clusters.
EMR AI Assistant
Baseado em um modelo de linguagem de grande porte, o EMR AI Assistant é o service inteligente de O&M integrado ao EMR. Ele se conecta ao seu cluster e lê o estado de execução e os dados de monitoramento antes de tirar conclusões. Dessa forma, os diagnósticos e as recomendações refletem o seu cluster real, em vez de fornecer conselhos genéricos.
Recursos
Diagnóstico de desempenho: quando as consultas expiram ou a latência aumenta, o assistente rastreia a causa e recomenda uma correção. Pergunte quais consultas foram lentas recentemente e ele retornará as principais instruções SQL com uma análise de gargalo para cada uma.
Verificações de integridade: inspeciona a configuração do cluster e o estado de execução no agendamento definido e, em seguida, relata as descobertas.
Alertas proativos: ao ativar os relatórios diários e os alertas, o assistente monitora o cluster continuamente e encaminha problemas para o DingTalk ou Lark, sem exigir equipe de plantão.
Perguntas e respostas: faça perguntas em linguagem natural. As conversas de múltiplas interações permitem investigar um problema detalhadamente em uma única sessão.
Como usar
O assistente está disponível de três formas: pela chat window no console, em um grupo do DingTalk ou Lark, e por meio da API e do SDK.
Para começar, consulte Get started with EMR AI Assistant.
Para obter o conjunto completo de recursos e cenários compatíveis, consulte Introduction to the EMR AI Assistant Feature.
Para obter informações sobre edições e faturamento, consulte EMR AI Assistant Billing Details.
Faturamento
As taxas dos clusters do EMR on ECS incluem as taxas do service EMR e das instâncias do ECS. As taxas de outros services da Alibaba Cloud usados pelo cluster (como OSS, DLF e EMR Workflow) seguem as regras de faturamento de cada service: Billing overview, Billing overview.
O EMR on ECS oferece suporte a dois métodos de faturamento:
Assinatura: pague antecipadamente com base em uma duração fixa. Reserve capacidade antecipadamente com desconto. Consulte Subscription.
Pagamento conforme o uso: pague após o uso. Adquira e libere recursos conforme a demanda da sua carga de trabalho, sem compromisso antecipado. Consulte Pay-as-you-go.
As taxas de pagamento conforme o uso sempre se aplicam ao tráfego de Internet gerado pelos nós do cluster, independentemente do método de faturamento.
Para obter detalhes completos sobre preços, consulte Billing.
Próximos passos
Use o EMR com o DataWorks: desenvolva e governe data lakes a partir de uma única interface. Consulte Getting started with DataWorks on EMR.
Explore casos de uso: consulte Use scenarios.
Verifique as versões dos componentes: consulte Services supported by EMR clusters of different versions.
Monitore e opere clusters: consulte Cluster O&M e Cluster monitoring.
Perguntas frequentes
A Alibaba Cloud oferece algum service Presto além do E-MapReduce?
Além do E-MapReduce (EMR on ECS), a Alibaba Cloud não oferece atualmente nenhum outro product com o service Presto. Para usar o mecanismo Presto para consultas e análises de big data, use um cluster do EMR on ECS e selecione uma versão que inclua o componente Presto.