O E-MapReduce (EMR) elimina a sobrecarga de operações e manutenção (O&M) na execução do Hadoop em grande escala. Em vez de adquirir hardware, ajustar componentes open source e gerenciar atualizações manualmente, você obtém um ambiente totalmente gerenciado com dimensionamento elástico integrado, segurança corporativa e suporte profissional.
Visão geral
|
Capacidade |
Cluster EMR |
Cluster Hadoop autogerenciado |
|
Provisionamento |
Pronto em minutos |
Semanas para aquisição e configuração de hardware |
|
Faturamento |
Pagamento conforme o uso ou assinatura |
Despesa de capital fixa |
|
Dimensionamento |
Elástico: dimensione computação e armazenamento independentemente |
Capacidade fixa; requer intervenção manual |
|
Taxas de licença |
Sem taxas adicionais de licença de software |
Aplicam-se taxas de licença da distribuição Hadoop |
|
Ajuste de desempenho |
Padrões pré-otimizados para cada especificação de cluster |
Requer ajuste manual |
|
Atualizações e patches |
Atualizações contínuas; correções regulares de bugs |
Atualizações autogerenciadas e testes de compatibilidade |
|
Segurança |
Multilocação, permissões de tabela/coluna/linha, logs de auditoria, criptografia de dados |
Requer configuração personalizada |
|
Integração com ecossistema |
Integração nativa com DataWorks, Data Lake Formation (DLF) e CloudMonitor |
Baseado apenas no ecossistema open source |
|
Suporte |
Equipes profissionais e seniores de big data |
Apenas fóruns da comunidade e equipes internas |
Comparação detalhada
Custo e eficiência
Os clusters EMR ficam prontos em minutos e eliminam semanas de aquisição de hardware e implantação de componentes Hadoop. Estão disponíveis dois modelos de faturamento: pagamento conforme o uso para cargas de trabalho sob demanda e assinatura para clusters previsíveis de longa duração.
O EMR desacopla computação e armazenamento. Assim, é possível dimensionar cada recurso independentemente e pagar apenas pelo que utiliza, em vez de provisionar capacidade de pico antecipadamente. Clusters autogerenciados mantêm recursos fixos independentemente da carga real, o que resulta em menor utilização geral dos recursos. Além disso, o EMR não exige taxas adicionais de licença de software, ao contrário das distribuições Hadoop que incluem custos de licenciamento comercial.
Facilidade de uso
O EMR pré-ajusta parâmetros padrão com base nas especificações de cada cluster e aprimora recursos de componentes principais para melhorar o desempenho open source imediatamente após a instalação. Clusters autogerenciados utilizam versões vanilla da comunidade e exigem que sua equipe faça profiling e otimize o ambiente para cargas de trabalho específicas.
O EMR é validado em ambientes corporativos de grande escala e acompanha continuamente os lançamentos de software open source, com correções regulares de bugs. Em um cluster autogerenciado, sua equipe assume todo o ciclo de atualização e deve verificar a compatibilidade de versões entre todos os componentes antes de promover alterações.
Os componentes do EMR passam por testes profissionais de compatibilidade e oferecem uma experiência de usuário superior à dos clusters autogerenciados. Nestes últimos, é necessário testar a compatibilidade de versões entre componentes e corrigir problemas manualmente.
O&M e monitoramento
O EMR ajusta automaticamente os recursos de computação por cronograma ou carga do cluster. A capacidade expande em minutos durante picos de demanda e é liberada quando as cargas de trabalho diminuem. Clusters autogerenciados não conseguem ajustar recursos dinamicamente em resposta a mudanças de carga.
As principais capacidades de monitoramento e diagnóstico incluem:
Diagnóstico de integridade: inicie diagnósticos direcionados para identificar e resolver problemas rapidamente. Consulte Iniciar diagnóstico de integridade.
Relatórios diários do cluster: revise análises automatizadas para identificar tendências antes que se tornem incidentes. Consulte Visualizar relatórios diários do cluster e resultados de análise nos relatórios.
Auto Scaling: ajuste dinamicamente os recursos do cluster com base em tempo ou carga. Consulte Auto scaling.
Clusters autogerenciados dependem de engenheiros experientes de O&M para monitoramento e diagnóstico, o que torna a resolução de problemas mais lenta e custosa.
Segurança e ecossistema
O EMR oferece segurança de nível corporativo pronta para uso: suporte a multilocação, permissões granulares nos níveis de tabela, coluna e linha, logs de auditoria e criptografia de dados. Replicar isso em um cluster autogerenciado exige desenvolvimento personalizado significativo e manutenção contínua.
O ecossistema da Alibaba Cloud conecta o EMR a um amplo conjunto de serviços em nuvem:
|
Serviço |
Finalidade |
|
DataWorks |
Integração de dados e orquestração de pipelines |
|
Data Lake Formation (DLF) |
Gerenciamento de metadados e governança de data lake |
|
CloudMonitor |
Monitoramento de desempenho do cluster e alertas |
Construir integrações equivalentes em um cluster autogerenciado demanda alto esforço de engenharia e tempo.
Suporte ao serviço
Usuários do EMR têm acesso a equipes profissionais e seniores de big data para suporte pós-venda. Consulte Escopo do suporte técnico e métodos de contato para obter detalhes. Clusters autogerenciados não possuem canal oficial de suporte. A solução de problemas recai inteiramente sobre sua equipe interna, o que aumenta a complexidade de O&M.