Como gerenciar projetos e configurar recursos de cluster no Data Platform - E-MapReduce: Central de Documentação do Alibaba Cloud

Pré-requisitos

Crie um cluster. Para mais informações, consulte Create a cluster.

Limitações

Somente uma conta Alibaba Cloud pode criar projetos, adicionar membros e incluir recursos de cluster. Por isso, os recursos Create Project, Users e Cluster Settings ficam visíveis apenas para o proprietário da conta Alibaba Cloud, não estando disponíveis para usuários RAM.

Criar um projeto

Acesse a página Projects no Data Platform.
1. Faça login no console do E-MapReduce com sua conta Alibaba Cloud.
2. Na barra de navegação superior, selecione a região e o grupo de recursos.
3. Clique em na aba Data Development.
  
  Uma conta Alibaba Cloud visualiza todos os projetos vinculados a ela. Um usuário RAM visualiza apenas os projetos para os quais possui permissões de desenvolvimento. Para conceder essas permissões, o proprietário da conta Alibaba Cloud deve seguir as etapas em User management.
Na página Projects, clique em Create Project no canto superior direito.
Na caixa de diálogo Create Project, insira um Project Name e uma Project Description, e selecione um grupo de recursos existente na lista Select Resource Group.

Nota
Se nenhum grupo de recursos for especificado, o projeto será adicionado ao grupo de recursos padrão. Para mais detalhes sobre grupos de recursos, consulte Use resource groups.
Clique em Create.

Visualize e gerencie o novo projeto na página Projects.

Informações básicas do projeto

Acesse a página Projects no Data Platform.
1. Faça login no console do E-MapReduce com sua conta Alibaba Cloud.
2. Na barra de navegação superior, selecione a região e o grupo de recursos.
3. Clique em na aba Data Development.
Acesse a página de gerenciamento do projeto desejado.
1. Na página Projects, clique em no ID do projeto alvo.
2. Clique em na aba Project Management.
Verifique as informações básicas do projeto.

Na página Basic Information, consulte o nome, a data de criação, o criador e a descrição do projeto.

Configuração geral

O modo de segurança controla as permissões dos jobs executados no Data Platform.

Ao ativar o modo de segurança, adicione os usuários EMR que enviam jobs à lista de usuários no cluster em execução. Para mais informações, consulte Manage users. Ao enviar um job em um projeto com o modo de segurança ativado, os jobs enviados por uma conta Alibaba Cloud são executados como o usuário padrão hadoop, enquanto os jobs enviados por um usuário RAM são executados como um usuário EMR com o mesmo nome do usuário RAM.

Acesse a página Projects no Data Platform.
1. Faça login no console do E-MapReduce com sua conta Alibaba Cloud.
2. Na barra de navegação superior, selecione a região e o grupo de recursos.
3. Clique em na aba Data Development.
Acesse a página de gerenciamento do projeto desejado.
1. Na página Projects, clique em no ID do projeto alvo.
2. Clique em na aba Project Management.
Configure o modo de segurança.
1. No painel de navegação à esquerda, clique em General Configuration.
2. Ative ou desative o modo de segurança conforme os requisitos dos seus jobs.
  
  Importante
  Após ativar o modo de segurança, jobs Shell e Hive não poderão ser executados.

Gerenciamento de usuários

Conceda ou revogue permissões de desenvolvimento de um usuário RAM em um projeto.

Acesse a página Projects no Data Platform.
1. Faça login no console do E-MapReduce com sua conta Alibaba Cloud.
2. Na barra de navegação superior, selecione a região e o grupo de recursos.
3. Clique em na aba Data Development.
Acesse a página de gerenciamento do projeto desejado.
1. Na página Projects, clique em no ID do projeto alvo.
2. Clique em na aba Project Management.
No painel de navegação à esquerda, clique em Users.
Na página Users, adicione ou remova usuários.
- Adicionar um usuário.
  1. No canto superior direito, clique em Add User.
  2. Na caixa de diálogo Add User, selecione o usuário RAM que deseja adicionar e clique em Add.
    
    Após a adição, visualize as informações do usuário na página Users.
    
    Nota
    O usuário RAM adicionado torna-se membro do projeto e pode visualizar e desenvolver jobs e workflows nele.
- Remover um usuário.
  
  Na página Users, localize o usuário que deseja remover e clique em Delete na linha correspondente.

Configurações de cluster

Associe clusters a um projeto para permitir a execução dos jobs desse projeto neles.

Acesse a página Projects no Data Platform.
1. Faça login no console do E-MapReduce com sua conta Alibaba Cloud.
2. Na barra de navegação superior, selecione a região e o grupo de recursos.
3. Clique em na aba Data Development.
Acesse a página de gerenciamento do projeto desejado.
1. Na página Projects, clique em no ID do projeto alvo.
2. Clique em na aba Project Management.
No painel de navegação à esquerda, clique em Cluster Settings.

Na página Cluster Settings, execute as seguintes operações:

Adicionar um cluster.
1. No canto superior direito, clique em Add Cluster.
2. Na caixa de diálogo Add Cluster, selecione um grupo de recursos e as informações do cluster.
  
  Na lista suspensa Cluster, escolha um cluster por assinatura ou pagamento conforme o uso. Clusters criados a partir de um modelo de cluster não são suportados.
3. Clique em OK.
  
  O novo cluster aparecerá na página Cluster Settings.

Modificar configurações do cluster.

Localize o cluster desejado e clique em Modify Configuration na linha do cluster.

Na caixa de diálogo Modify Configuration, configure as filas, as informações de usuário e a lista de permissões de clientes para envio de jobs neste cluster.

Parâmetro	Descrição
Default job submission user	Usuário padrão para envio de jobs do projeto para o cluster selecionado. Valor padrão: `hadoop`. Apenas um usuário padrão pode ser definido.
Default job submission queue	Fila padrão para envio de jobs do projeto para o cluster selecionado. Valor padrão: `default`.
Job submission user whitelist	Usuários autorizados a enviar jobs. Separe múltiplos usuários com vírgula (,).
Job submission queue whitelist	Filas no cluster selecionado onde os jobs deste projeto podem ser executados. Separe múltiplas filas com vírgula (,).
client whitelist	Clientes a partir dos quais os jobs podem ser enviados. Use um nó mestre ou um nó de gateway. Gateways personalizados em instâncias ECS não podem ser configurados aqui.

Clique em OK.

Desassociar um cluster.

Na página Cluster Settings, localize o cluster desejado e clique em Delete na linha do cluster.

Definições de variáveis

Defina variáveis personalizadas no nível do projeto para que os jobs possam referenciá-las como variáveis globais.

Acesse a página Projects no Data Platform.
1. Faça login no console do E-MapReduce com sua conta Alibaba Cloud.
2. Na barra de navegação superior, selecione a região e o grupo de recursos.
3. Clique em na aba Data Development.
Acesse a página de gerenciamento do projeto desejado.
1. Na página Projects, clique em no ID do projeto alvo.
2. Clique em na aba Project Management.
No painel de navegação à esquerda, clique em Variable Definition.
Na página Variable Definition, adicione ou remova variáveis personalizadas.
- Adicionar uma variável personalizada.
  1. No canto superior direito, clique em Add.
  2. Na caixa de diálogo Add Custom Variable, insira um Variable Name e um Variable Value. Para criptografar o valor, selecione a opção Set as Password.
    Em um job, referencie uma variável usando o formato ${VariableName}. Por exemplo, se você adicionar uma variável com o nome ENV_ABC e o valor 12345, sem selecionar Set as Password, o conteúdo de um job Shell poderá ser o seguinte:
    
    echo ${ENV_ABC}
    A saída será:
    
    12345
    Essa configuração equivale a executar o script abaixo:
    
    export ENV_ABC=12345
  3. Clique em OK.
    
    Visualize a nova variável na página Variable Definition.
- Remover uma variável personalizada.
  
  Localize a variável desejada e clique em Delete na linha da variável.