O E-MapReduce (EMR) oferece quatro tipos de cluster predefinidos — Data Lake, Data Analytics, Real-time Data Streaming e Data Service —, cada um pré-configurado para uma carga de trabalho específica. Se nenhuma dessas opções atender às suas necessidades, use um Custom Cluster para implantar qualquer combinação de serviços.
Escolha um tipo de cluster
Identifique o tipo de cluster adequado para sua carga de trabalho na tabela abaixo.
| Tipo de cluster | Serviços incluídos | Capacidades principais | Cargas de trabalho típicas |
|---|---|---|---|
| Data Lake (cluster DataLake) |
Computação: Spark, Hive, Tez, Trino, Kyuubi, Presto Armazenamento: Hadoop Distributed File System (HDFS), OSS-HDFS, Celeborn, JindoCache Integração de dados: Flume, Sqoop Formatos de data lake: Hudi, Iceberg, Paimon Gerenciamento de recursos: YARN Coordenação: ZooKeeper Segurança: OpenLDAP, Ranger, DLF-Auth, Knox |
Armazenamento unificado, múltiplos mecanismos de computação compatíveis e suporte aos formatos Hudi, Iceberg e Paimon | Extração, transformação e carga (ETL) offline: ETL de data warehouse e análise ad hoc |
| Data Analytics (cluster OLAP) |
Processamento analítico online (OLAP): StarRocks, ClickHouse, Doris Coordenação: ZooKeeper |
Resposta a consultas em subsegundos, otimização de armazenamento orientado a colunas e consultas federadas | Análise de agregação complexa: análise de perfil de usuário, identificação de grupos de usuários e business intelligence (BI) |
| Real-time Data Streaming (cluster Dataflow) |
Computação de fluxo: Flink Armazenamento: HDFS, OSS-HDFS Formato de data lake: Paimon Gerenciamento de recursos: YARN Coordenação: ZooKeeper Segurança: OpenLDAP, Knox |
Processamento unificado em lote e fluxo, baixa latência e garantia de consistência de estado | ETL em tempo real: ETL de streaming warehouse |
| Data Service (cluster DataServing) |
Computação: Phoenix Armazenamento orientado a colunas: HBase Armazenamento: HDFS, OSS-HDFS, JindoCache Coordenação: ZooKeeper Segurança: OpenLDAP, Ranger, Knox |
Consultas pontuais em milissegundos, otimização de interface SQL e separação de leitura e escrita | Consultas de alta concorrência: análise de comportamento e marketing de precisão |
| Custom Cluster |
Computação: Spark, Hive, Tez, Trino, Kyuubi, Presto, Flink, Phoenix OLAP: StarRocks Armazenamento orientado a colunas: HBase Armazenamento: HDFS, OSS-HDFS, Celeborn, JindoCache Integração de dados: Flume, Sqoop Formatos de data lake: Hudi, Iceberg, Paimon Gerenciamento de recursos: YARN Coordenação: ZooKeeper Segurança: OpenLDAP, Ranger, DLF-Auth, Knox |
Implantação flexível de serviços e cargas de trabalho mistas (tempo real, offline e analíticas) | ETL offline, ETL em tempo real, análise de agregação complexa e consultas de alta concorrência |
As versões de serviço disponíveis em um cluster dependem da versão do EMR. Use a versão mais recente do EMR para acessar mais recursos, melhor desempenho e aprimoramentos de segurança. Para obter a lista completa de versões disponíveis, consulte Versões de lançamento.
Quando usar um Custom Cluster
Um Custom Cluster oferece controle total sobre os serviços a serem implantados. Essa opção é ideal quando sua carga de trabalho abrange múltiplos tipos de cluster, como executar Spark, Flink e HBase juntos em um único cluster.
Use um Custom Cluster se:
Sua carga de trabalho combinar ETL offline, processamento em tempo real e consultas analíticas.
Nenhum tipo de cluster predefinido cobrir todos os serviços necessários.
Prefira clusters dedicados separados se:
Suas cargas de trabalho offline e em tempo real tiverem requisitos diferentes de latência ou recursos, pois combiná-las em um único cluster pode causar interferência.
Se o Custom Cluster ainda não atender plenamente aos seus requisitos, implante serviços adicionais manualmente após avaliar a compatibilidade e a segurança deles.
Próximos passos
Após selecionar o tipo de cluster, planeje as configurações restantes: