O E-MapReduce (EMR) elimina a sobrecarga de operações e manutenção (O&M) na execução de Hadoop em escala. Em vez de adquirir hardware, ajustar componentes open source e gerenciar atualizações por conta própria, você obtém um ambiente totalmente gerenciado com dimensionamento elástico integrado, segurança corporativa e suporte profissional.
Visão geral
|
Capacidade |
Cluster EMR |
Cluster Hadoop autogerenciado |
|
Provisionamento |
Pronto em minutos |
Semanas para aquisição e configuração de hardware |
|
Faturamento |
Pagamento conforme o uso ou assinatura |
Despesa de capital fixa |
|
Dimensionamento |
Elástico — dimensione computação e armazenamento independentemente |
Capacidade fixa; requer intervenção manual |
|
Taxas de licença |
Sem taxas adicionais de licença de software |
Aplicam-se taxas de licença da distribuição Hadoop |
|
Ajuste de desempenho |
Padrões pré-otimizados para cada especificação de cluster |
Requer ajuste manual |
|
Atualizações e patches |
Atualizações contínuas; correções regulares de bugs |
Atualizações autogerenciadas e testes de compatibilidade |
|
Segurança |
Multilocação, permissões de tabela/coluna/linha, logs de auditoria, criptografia de dados |
Requer configuração personalizada |
|
Integração com ecossistema |
Integração nativa com DataWorks, Data Lake Formation (DLF) e CloudMonitor |
Baseado apenas no ecossistema open source |
|
Suporte |
Equipes profissionais e seniores de big data |
Apenas fóruns da comunidade e equipes internas |
Comparação detalhada
Custo e eficiência
Os clusters EMR ficam prontos em minutos e eliminam semanas dedicadas à aquisição de hardware e à implantação de componentes Hadoop. Estão disponíveis dois modelos de faturamento: pagamento conforme o uso para cargas de trabalho sob demanda e assinatura para clusters previsíveis e de longa duração.
O EMR desacopla computação do armazenamento. Assim, é possível dimensionar cada recurso independentemente e pagar apenas pelo que utilizar, em vez de provisionar capacidade de pico antecipadamente. Clusters autogerenciados mantêm recursos fixos independentemente da carga real, o que resulta em menor utilização geral dos recursos. Além disso, o EMR não exige taxas adicionais de licença de software, diferentemente das distribuições Hadoop que incluem custos de licenciamento comercial.
Facilidade de uso
O EMR pré-ajusta parâmetros padrão com base nas especificações de cada cluster e aprimora funcionalidades de componentes essenciais para melhorar o desempenho open source imediatamente após a instalação. Clusters autogerenciados utilizam versões vanilla da comunidade, o que exige que sua equipe faça profiling e otimize o ambiente para suas cargas de trabalho específicas.
Validado em ambientes corporativos de grande escala, o EMR acompanha continuamente os lançamentos de software open source e fornece correções regulares de bugs. Em um cluster autogerenciado, sua equipe é responsável por todo o ciclo de atualização e deve verificar a compatibilidade de versões entre todos os componentes antes de promover alterações.
Os componentes do EMR passam por testes profissionais de compatibilidade, oferecendo uma experiência de usuário superior à de clusters autogerenciados. Nestes últimos, é necessário testar a compatibilidade de versões entre componentes e corrigir problemas por conta própria.
O&M e monitoramento
O EMR ajusta automaticamente os recursos de computação por cronograma ou carga do cluster. A capacidade expande em minutos durante picos de demanda e é liberada quando as cargas de trabalho diminuem. Clusters autogerenciados não conseguem ajustar recursos dinamicamente em resposta a mudanças de carga.
As principais capacidades de monitoramento e diagnóstico incluem:
Diagnóstico de integridade — Inicie diagnósticos direcionados para identificar e resolver problemas rapidamente. Consulte Iniciar diagnóstico de integridade.
Relatórios diários do cluster — Analise relatórios automatizados para identificar tendências antes que se tornem incidentes. Consulte Visualize relatórios diários do cluster e resultados de análise nos relatórios.
Auto Scaling — Ajuste dinamicamente os recursos do cluster com base em horário ou carga. Consulte Auto Scaling.
Clusters autogerenciados dependem de engenheiros experientes em O&M para monitoramento e diagnóstico, tornando a resolução de problemas mais lenta e custosa.
Segurança e ecossistema
O EMR oferece segurança de nível corporativo pronta para uso: suporte a multilocação, permissões granulares nos níveis de tabela, coluna e linha, logs de auditoria e criptografia de dados. Replicar isso em um cluster autogerenciado exige desenvolvimento personalizado significativo e manutenção contínua.
O ecossistema Alibaba Cloud conecta o EMR a um amplo conjunto de services cloud:
|
Service |
Finalidade |
|
DataWorks |
Integração de dados e orquestração de pipelines |
|
Data Lake Formation (DLF) |
Gerenciamento de metadados e governança de data lake |
|
CloudMonitor |
Monitoramento de desempenho do cluster e alertas |
Construir integrações equivalentes em um cluster autogerenciado demanda alto esforço de engenharia e tempo.
Suporte ao service
Usuários do EMR têm acesso a equipes profissionais e seniores de big data para suporte pós-venda. Consulte Escopo do suporte técnico e métodos de contato para obter detalhes. Clusters autogerenciados não possuem canal oficial de suporte — a solução de problemas recai inteiramente sobre sua equipe interna, aumentando a complexidade de O&M.