E-MapReduce:Configuring custom software

Configure durante a criação do cluster

1. Faça login no console do E-MapReduce.

2. Na barra de menus superior, selecione uma região e um grupo de recursos conforme necessário.

3. Na página EMR on ECS, clique em CREATE_CLUSTER.

4. Na seção Software Configuration, dentro de Advanced Settings, ative a chave Custom Software Configuration.

   Adicione um arquivo de configuração no formato JSON para substituir os parâmetros padrão do service ou incluir novos durante a criação do cluster. Exemplo:

   [
       {
           "ApplicationName":"YARN",
           "ConfigFileName":"yarn-site.xml",
           "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores",
           "ConfigItemValue":"8"
       },
       {
           "ApplicationName":"YARN",
           "ConfigFileName":"yarn-site.xml",
           "ConfigItemKey":"aaa",
           "ConfigItemValue":"bbb"
       }
   ]

   • A tabela a seguir descreve os parâmetros.

     Parâmetro	Descrição
     ApplicationName	Nome do service, em letras maiúsculas.
     ConfigFileName	Nome do arquivo de configuração a ser modificado. Nota Siga as convenções de nomenclatura de arquivos abaixo. Para clusters Data Lake, DataFlow, OLAP, DataServing ou Custom, a extensão do arquivo é obrigatória. Por exemplo: yarn-site.xml. Para clusters legados de data lake (Hadoop), a extensão do arquivo não é necessária. Por exemplo: yarn-site.
     ConfigItemKey	Nome do item de configuração.
     ConfigItemValue	Valor do item de configuração.

   • A tabela seguinte lista os arquivos de configuração de cada service.

     Service	Arquivo de configuração
     YARN	core-site.xml log4j.properties hdfs-site.xml mapred-site.xml yarn-site.xml httpfs-site.xml capacity-scheduler.xml hadoop-env.sh httpfs-env.sh mapred-env.sh yarn-env.sh
     Hive	hive-env.sh hive-site.xml hive-exec-log4j.properties hive-log4j.properties

   Após configurar os parâmetros, prossiga com a criação do cluster. Para mais informações, consulte Crie Cluster.

Configure ao adicionar um grupo de nós

Ao adicionar um grupo de nós para escalar horizontalmente um cluster em execução, também é possível ajustar as configurações dos services. Para mais detalhes, consulte Gerencie Grupos de Nós.

Documentos relacionados

Depois que o cluster for criado, você poderá modificar as configurações na página específica de cada service. Para mais informações, consulte Gerencie Itens de Configuração.