EMR on ECS
|
Categoria |
Recurso |
Descrição |
Referências |
|
Gerenciamento de cluster |
Crie um cluster |
Construa e execute frameworks de big data open source, como Hadoop, Spark, Hive e Presto, para processamento e análise de dados em grande escala. |
Crie um cluster |
|
Exclua um cluster |
Caso não precise mais de um cluster EMR, libere-o prontamente para evitar custos desnecessários. |
Exclua um cluster | |
|
Visualize informações do cluster |
Visualize informações básicas sobre os clusters pertencentes à sua conta Alibaba Cloud e os detalhes de um cluster específico. |
Consultar clusters | |
|
Fazer login no cluster |
Conecte-se ao nó mestre do seu cluster via SSH para execute comandos Linux destinados ao gerenciamento do cluster. |
Fazer login no cluster | |
|
Visualize tipos de cluster |
O EMR suporta múltiplos tipos de cluster, incluindo DataLake, OLAP, Dataflow e DataServing, para atender a diversas necessidades de processamento e análise de big data. |
||
|
Gerenciamento de nós |
Gerencie grupos de nós |
Grupos de nós são recursos essenciais usados para gerencie nós em um cluster EMR. Na maioria dos casos, eles consistem em instâncias Elastic Compute Service (ECS) do mesmo tipo de instância. |
|
|
Escalar grupo de nós |
Adicione nós core ou task para escalar um cluster EMR que tenha recursos de computação ou armazenamento insuficientes. |
||
|
Reduzir grupo de nós |
Quando grandes quantidades de recursos de computação permanecerem ociosas em um cluster EMR, reduza o número de nós task no cluster. |
||
|
Expandir disco |
Se o espaço em disco de um cluster for insuficiente, expanda os discos de dados do cluster. |
||
|
Atualizar configurações de nó |
Se as vCPUs ou a memória das instâncias ECS em um grupo de nós não atenderem aos requisitos do seu negócio, atualize as configurações das instâncias desse grupo. |
||
|
Visualize status de integridade dos nós |
O status de integridade de um nó indica se ele opera conforme o esperado. Esse status é consolidado a partir dos resultados de múltiplos itens de verificação de integridade. |
||
|
Gerenciamento de serviços |
Adicionar serviços |
Após crie um cluster, adicione serviços ainda não implantados nele. |
|
|
Reiniciar um serviço |
Depois de modifique os itens de configuração de um serviço, reinicie-o para que as alterações entrem em vigor. Também é possível reiniciar um serviço com falha para restaurá-lo. |
||
|
Gerencie itens de configuração |
Visualize, modifique e adicione itens de configuração para serviços implantados em um cluster pelo console EMR. |
||
|
Reverter configurações de um serviço |
Após realizar operações nos itens de configuração de um serviço no console EMR, reverta as configurações desse serviço se necessário. |
||
|
Personalizar configurações de software |
Modifique configurações existentes ou adicione itens de configuração durante a criação do cluster. |
||
|
Exportar e importar configurações de serviço |
Exporte configurações de serviço em formato XML ou JSON para backup, migração ou restauração. Configurações no formato JSON podem ser importadas em um novo cluster como configurações predefinidas. |
||
|
Acessar Web UIs de componentes open source |
Acesse as interfaces web (Web UIs) de componentes open source implantados em um cluster EMR pela aba Access Links and Ports do cluster no console EMR. |
||
|
Visualize informações sobre serviços do cluster |
Visualize informações sobre os serviços implantados em um cluster EMR. Por exemplo, verifique o status, componentes e itens de configuração de serviços como HDFS e YARN. |
||
|
Visualize status de integridade dos serviços |
O status de integridade de um serviço indica se ele opera conforme o esperado e consolida resultados de múltiplos itens de verificação de integridade. |
||
|
Gerenciamento de componentes |
Operações em componentes |
Os clusters EMR integram uma variedade de serviços de big data para processar, analisar e armazenar dados em larga escala. O EMR fornece guias de operação e práticas avançadas para cada componente. |
|
|
Visualize informações de implantação de componentes de serviço |
Visualize as informações de implantação dos componentes de serviço em cada nó de um cluster EMR. |
||
|
Visualize status de integridade dos componentes |
O status de integridade de um componente indica se ele opera conforme o esperado e consolida resultados de múltiplos itens de verificação de integridade. |
||
|
Gerenciamento de usuários |
Adicionar um usuário |
Adicione um usuário RAM existente como usuário EMR. Dessa forma, utilize o usuário RAM para gerencie clusters EMR ou outros recursos de serviços em nuvem. |
|
|
Exclua um usuário |
Exclua um usuário existente de um cluster EMR pelo console EMR. |
||
|
Redefinir a senha de um usuário |
Redefina a senha de um usuário. |
||
|
Baixe credenciais de autenticação |
Credenciais de autenticação só podem ser baixadas em clusters de alta segurança. Baixe o arquivo keytab de uma conta de usuário. |
||
|
Auto Scaling |
Adicionar regras de Auto Scaling |
Ative o Auto Scaling e configure regras de dimensionamento para seu cluster EMR. O EMR ajusta automaticamente o número de nós task durante horários de pico e fora de pico para otimizar a utilização de recursos e reduzir custos. |
|
|
Visualize atividades de Auto Scaling |
Visualize as alterações nos nós de um cluster e os registros de execução das atividades de Auto Scaling. |
||
|
Visualize informações gerais sobre recursos do cluster |
O recurso de Auto Scaling do EMR ajuda a analisar mudanças nos recursos do cluster e fornece regras recomendadas de dimensionamento automático. |
||
|
Visualize análise de custos de Auto Scaling de forma gráfica |
Visualize o uso de recursos e a alocação de custos sob múltiplas dimensões. Assim, avalie a economia de custos proporcionada pelo Auto Scaling e otimize o uso de recursos do seu cluster. |
||
|
Gerenciamento de ações de bootstrap |
Gerencie ações de bootstrap |
Use ações de bootstrap para instale softwares de terceiros e modifique o ambiente de execução do seu cluster. |
|
|
Execute scripts manualmente |
Após crie um cluster, execute um script especificado em múltiplos nós simultaneamente para atender a requisitos personalizados. |
||
|
Registros de operação |
Visualize registros de operação |
Visualize os registros de operação dos clusters. |
- |
|
Monitoramento e alertas |
Monitorar clusters |
Visualize os detalhes das métricas de cada serviço do seu cluster. |
- |
|
Gerencie regras de alerta |
Crie regras de alerta para monitorar o uso de recursos de serviços nos seus clusters EMR. Quando as métricas atingem condições especificadas, o CloudMonitor envia notificações para que você possa tratar exceções do cluster prontamente. |
||
|
Gerencie logs |
Integra-se ao Simple Log Service para permitir a consulta de logs de componentes open source diretamente no console EMR. |
||
|
Verificação de integridade |
Ative verificação e análise em tempo real |
O EMR Doctor verifica o status do cluster em tempo real em intervalos de 5 minutos. Visualize o status atual, problemas e causas raiz, solucionando falhas adequadamente para manter o cluster estável. |
|
|
Visualize relatórios diários do cluster e resultados de análise |
Visualize o status de integridade do seu cluster e siga as sugestões de melhoria para mantê-lo saudável. |
||
|
Gateway |
Crie um cluster gateway |
Use um cluster gateway para balancear cargas e isolar clusters visando a segurança dos dados. Utilize também o cluster gateway para envie jobs a um cluster EMR. |
|
|
Configure um cluster gateway |
O EMR fornece a ferramenta EMR-CLI que permite implantar um gateway em uma instância Alibaba Cloud ECS. |
EMR on ACK
|
Categoria |
Recurso |
Descrição |
Referências |
|
Gerenciamento de cluster |
Crie um cluster |
Implante serviços de big data open source no Container Service for Kubernetes (ACK) para aproveitar suas capacidades de implantação de serviços e gerenciamento de contêineres. Isso reduz a sobrecarga de O&M para recursos subjacentes do cluster e permite focar nos jobs de big data. |
|
|
Exclua um cluster |
Caso não precise mais de um cluster, libere-o para exclua o namespace correspondente e todos os serviços de software implantados nele. No entanto, nenhum recurso físico é liberado após a liberação do cluster. |
Exclua um cluster | |
|
Visualize informações do cluster |
Visualize a lista de clusters e os detalhes de um cluster específico na sua conta Alibaba Cloud. |
||
|
Visualize tipos de cluster |
Crie diferentes tipos de clusters na página EMR on ACK. |
Crie um cluster | |
|
Gerenciamento de serviços |
Reiniciar um serviço |
Após modifique os itens de configuração de um serviço, reinicie-o para que as alterações entrem em vigor. |
Reiniciar um serviço |
|
Acessar a Web UI dos componentes |
Após adicionar um usuário RAM como usuário EMR, ele poderá acessar a Web UI dos serviços implantados no cluster. |
- |
|
|
Gerencie itens de configuração |
Modifique e adicione itens de configuração para um cluster EMR. |
Gerencie itens de configuração | |
|
Gerenciamento de jobs |
Visualize informações sobre um job |
Visualize informações sobre os jobs em um cluster EMR. |
Visualize jobs |
EMR Serverless
EMR Workbench
|
Categoria |
Recurso |
Descrição |
Referências |
|
EMR Workflow |
Gerencie workspaces |
Realize configurações, execute tarefas e rode workflows dentro de um workspace. Administradores podem adicionar membros e atribuir funções para habilitar colaboração multifuncional. |
- |
|
Gerencie grupos de recursos para agendamento |
Grupos de recursos para agendamento são usados para agendar e execute tarefas. Se o grupo de recursos padrão não atender aos seus requisitos, adquira um com especificações superiores. |
- |
|
|
Gerencie projetos |
Edite tarefas e agende workflows em um projeto específico. |
Crie um projeto | |
|
Gerencie workflows |
Um workflow é um grafo acíclico dirigido (DAG) criado ao arrastar tarefas e associá-las entre si. |
Gerencie um workflow | |
|
Gerencie instâncias de workflow |
Uma instância de workflow é a instanciação de um workflow. Ela é gerada quando um workflow é executado manualmente ou agendado para execução. |
Gerencie instâncias de workflow | |
|
Gerencie tarefas |
Após salve um workflow, realize operações nas tarefas existentes. |
Gerencie tarefas | |
|
Gerencie instâncias de tarefa |
Após salve um workflow, realize operações nas instâncias de tarefa existentes. |
Gerencie tarefas | |
|
Gerencie tarefas manuais |
Crie uma tarefa manual independente de um workflow. Esse tipo de tarefa deve ser executado manualmente. |
- |
|
|
Gerencie instâncias de tarefas manuais |
Uma instância de tarefa manual é gerada sempre que uma tarefa manual é acionada manualmente. |
- |
|
|
Gerencie recursos |
Se desejar usar um pacote JAR de terceiros ou um script personalizado durante o agendamento, faça upload dos arquivos necessários na Central de Recursos. |
Gerenciamento de recursos | |
|
Gerencie fontes de dados |
Configure diferentes fontes de dados para atender a variados requisitos de armazenamento e acesso. |
Gerenciamento de fontes de dados | |
|
Usar a Central de Segurança |
A Central de Segurança permite gerencie usuários, instâncias de alerta, grupos de alerta e logs de auditoria. Isso ajuda a implementar gerenciamento de permissões refinado e monitoramento de segurança das operações. |
- |