Elastic Compute Service:Build a Hadoop environment

Etapa 1: Instalar o JDK

1. Conecte-se à instância ECS como um usuário comum.

   Consulte Connect to a Linux instance using Workbench.

   Importante

   A comunidade Hadoop não recomenda executar o Hadoop como usuário root devido a problemas de segurança e permissões. Use um usuário não root, como ecs-user.

2. Baixe o pacote de instalação do JDK 1.8.

   wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

3. Descompacte o pacote de instalação do JDK 1.8.

   tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

4. Mova e renomeie a pasta de instalação do JDK.

   Este exemplo renomeia a pasta de instalação do JDK para java8. Você pode usar um nome diferente.

   sudo mv java-se-8u41-ri/ /usr/java8

5. Configure as variáveis de ambiente do Java.

   Se você renomeou a pasta de instalação do JDK, substitua java8 nos comandos a seguir pelo nome real.

   sudo sh -c "echo 'export JAVA_HOME=/usr/java8' >> /etc/profile"
   sudo sh -c 'echo "export PATH=\$PATH:\$JAVA_HOME/bin" >> /etc/profile'
   source /etc/profile

6. Verifique se o JDK está instalado.

   java -version

   A saída a seguir indica uma instalação bem-sucedida.

   [ecs-user@hadoop001 ~]$ java -version
   openjdk version "1.8.0_41"
   OpenJDK Runtime Environment (build 1.8.0_41-b04)
   OpenJDK 64-Bit Server VM (build 25.40-b25, mixed mode)

Etapa 2: Configurar login SSH sem senha

Configure o login SSH sem senha para que os nós possam se conectar sem autenticação por senha, simplificando o gerenciamento do cluster.

1. Configure os nomes de host e a resolução de hosts.

   sudo vim /etc/hosts

   Adicione as informações <Primary private IP address> <Hostname> de todas as instâncias ao arquivo /etc/hosts. Por exemplo:

   <Primary private IP address> hadoop001
   <Primary private IP address> hadoop002
   <Primary private IP address> hadoop003

2. Crie uma chave pública e uma chave privada.

   ssh-keygen -t rsa

   [ecs-user@hadoop001 ~]$ ssh-keygen -t rsa
   Generating public/private rsa key pair.
   Enter file in which to save the key (/home/ecs-user/.ssh/id_rsa):
   Enter passphrase (empty for no passphrase):
   Enter same passphrase again:
   Your identification has been saved in /home/ecs-user/.ssh/id_rsa.
   Your public key has been saved in /home/ecs-user/.ssh/id_rsa.pub.
   The key fingerprint is:
   SHA256:xxx                    ecs-user@hadoop001
   The key's randomart image is:
   +---[RSA 3072]----+
   |    .E            |
   |     o            |
   |                  |
   | o .    .         |
   |  o + .           |
   |   ++oo S .       |
   |  o..* + o o      |
   | o.o* o   o +     |
   |+=**.O .   o      |
   |=BB*O=*o          |
   +----[SHA256]------+

3. Execute ssh-copy-id <Hostname> e substitua o nome do host pelo nome correto. Por exemplo:

   Em hadoop001, execute ssh-copy-id hadoop001, ssh-copy-id hadoop002 e ssh-copy-id hadoop003. Após cada comando, insira yes e a senha da instância correspondente.

   ssh-copy-id hadoop001
   ssh-copy-id hadoop002
   ssh-copy-id hadoop003

   O login sem senha estará configurado quando a saída corresponder ao seguinte.

   [ecs-user@hadoop001 ~]$ ssh-copy-id hadoop002
   /usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/home/ecs-user/.ssh/id_rsa.pub"
   The authenticity of host 'hadoop002 (172.20.153.127)' can't be established.
   ECDSA key fingerprint is SHA256:xxx.
   Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
   /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
   /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
   ecs-user@hadoop002's password:
   
   Number of key(s) added: 1
   
   Now try logging into the machine

Etapa 3: Instalar o Hadoop

1. Baixe o pacote de instalação do Hadoop.

   wget http://mirrors.cloud.aliyuncs.com/apache/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz

2. Descompacte o pacote de instalação do Hadoop em /opt/hadoop.

   sudo tar -zxvf hadoop-3.2.4.tar.gz -C /opt/
   sudo mv /opt/hadoop-3.2.4 /opt/hadoop

3. Configure as variáveis de ambiente do Hadoop.

   sudo sh -c "echo 'export HADOOP_HOME=/opt/hadoop' >> /etc/profile"
   sudo sh -c "echo 'export PATH=\$PATH:/opt/hadoop/bin' >> /etc/profile"
   sudo sh -c "echo 'export PATH=\$PATH:/opt/hadoop/sbin' >> /etc/profile"
   source /etc/profile

4. Modifique os arquivos de configuração yarn-env.sh e hadoop-env.sh.

   sudo sh -c 'echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh'
   sudo sh -c 'echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh'

5. Verifique se o Hadoop está instalado.

   hadoop version

   A saída a seguir indica uma instalação bem-sucedida.

   [ecs-user@hadoop001 ~]$ hadoop version
   Hadoop 3.2.4
   Source code repository Unknown -r 7e5d998xxx
   Compiled by ubuntu on 2022-07-12T11:58Z
   Compiled with protoc 2.5.0
   From source with checksum ee031cxxx
   This command was run using /opt/hadoop/share/hadoop/common/hadoop-common-3.2.4.jar

Etapa 4: Configurar o Hadoop

1. Modifique o arquivo de configuração do Hadoop core-site.xml.

   1. Abra o arquivo para edição.

      sudo vim /opt/hadoop/etc/hadoop/core-site.xml

   2. No nó <configuration></configuration>, insira o conteúdo a seguir.

         <!--Specify the NameNode address-->
         <property>
               <name>fs.defaultFS</name>
               <value>hdfs://hadoop001:8020</value>
         </property>
         <!--Specify the directory to store files generated by Hadoop-->
         <property>
               <name>hadoop.tmp.dir</name>
               <value>/opt/hadoop/data</value>
         </property>
         <!--Configure the static user for HDFS web logon as hadoop-->
         <property>
                <name>hadoop.http.staticuser.user</name>
                <value>hadoop</value>
         </property>

2. Modifique o arquivo de configuração do Hadoop hdfs-site.xml.

   1. Abra o arquivo para edição.

      sudo vim /opt/hadoop/etc/hadoop/hdfs-site.xml

   2. No nó <configuration></configuration>, insira o conteúdo a seguir.

          <!-- NameNode web endpoint -->
          <property>
              <name>dfs.namenode.http-address</name>  
              <value>hadoop001:9870</value>
          </property>
          <!-- Secondary NameNode web endpoint -->
          <property>
              <name>dfs.namenode.secondary.http-address</name>
              <value>hadoop003:9868</value>
          </property>

3. Modifique o arquivo de configuração do Hadoop yarn-site.xml.

   1. Abra o arquivo para edição.

      sudo vim /opt/hadoop/etc/hadoop/yarn-site.xml

   2. No nó <configuration></configuration>, insira o conteúdo a seguir.

           <!--The method for NodeManager to obtain data is shuffle-->
           <property>
      	 <name>yarn.nodemanager.aux-services</name>
      	 <value>mapreduce_shuffle</value>
           </property>
      
          <!--Specify the YARN (ResourceManager) address-->     
          <property>
      	 <name>yarn.resourcemanager.hostname</name>
      	 <value>hadoop002</value>
          </property> 
          
          <!--Specify the whitelist of environment variables that NodeManager can pass to containers-->
          <property>
          	<name>yarn.nodemanager.env-whitelist</name>
          	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
          </property>

4. Modifique o arquivo de configuração do Hadoop mapred-site.xml.

   1. Abra o arquivo para edição.

      sudo vim /opt/hadoop/etc/hadoop/mapred-site.xml

   2. No nó <configuration></configuration>, insira o conteúdo a seguir.

         <!--Tell Hadoop to run MapReduce (MR) on YARN-->
         <property>
      	 <name>mapreduce.framework.name</name>
      	 <value>yarn</value>
         </property>

5. Modifique o arquivo de configuração do Hadoop workers.

   1. Abra o arquivo para edição.

      sudo vim /opt/hadoop/etc/hadoop/workers

   2. No arquivo workers, insira as informações das instâncias.

      hadoop001
      hadoop002
      hadoop003

Etapa 5: Iniciar o Hadoop

1. Inicialize o namenode.

   Aviso

   Inicialize o namenode nas três instâncias apenas durante a primeira inicialização.

   hadoop namenode -format

2. Inicie o Hadoop.

   Importante

   • A comunidade Hadoop não recomenda executar o Hadoop como usuário root devido a problemas de segurança e permissões. Use um usuário não root, como ecs-user.

   • Se for necessário executar o Hadoop como root, compreenda o modelo de controle de acesso e os riscos associados antes de modificar os arquivos de configuração a seguir.

     Nota: Executar o Hadoop como root introduz riscos graves de segurança, incluindo, mas não se limitando a, violações de dados, maior vulnerabilidade a malware que pode obter privilégios de root e problemas inesperados de permissão. Consulte a documentação oficial do Hadoop.

   Modifique os arquivos de configuração para permitir que o usuário root inicie os services do Hadoop.

   Os arquivos de configuração a seguir geralmente estão no diretório /opt/hadoop/sbin.

   1. Nos arquivos start-dfs.sh e stop-dfs.sh, adicione os parâmetros a seguir.

      HDFS_DATANODE_USER=root
      HADOOP_SECURE_DN_USER=hdfs
      HDFS_NAMENODE_USER=root
      HDFS_SECONDARYNAMENODE_USER=root

   2. Nos arquivos start-yarn.sh e stop-yarn.sh, adicione os parâmetros a seguir.

      YARN_RESOURCEMANAGER_USER=root
      HADOOP_SECURE_DN_USER=yarn
      YARN_NODEMANAGER_USER=root

   1. Em hadoop001, execute start-dfs.sh para iniciar o service HDFS.

      Este script inicia NameNode, SecondaryNameNode e DataNode.

      start-dfs.sh

      O HDFS estará em execução quando a saída do jps corresponder ao seguinte.

      [ecs-user@hadoop003 ~]$ jps
      1347 SecondaryNameNode
      2260 Jps
      1256 DataNode
      
      [ecs-user@hadoop002 ~]$ jps
      3538 Jps
      1307 DataNode
      
      [ecs-user@hadoop001 ~]$ jps
      1589 NameNode
      1750 DataNode
      2844 Jps

   2. Em hadoop002, execute start-yarn.sh para iniciar o service YARN.

      Este script inicia ResourceManager e NodeManager.

      start-yarn.sh

      O YARN estará em execução quando a saída corresponder ao seguinte.

      [ecs-user@hadoop002 ~]$ start-yarn.sh
      Starting resourcemanager
      Starting nodemanagers

3. Visualize os processos iniciados nos três nós.

   jps

   Os processos iniciados são os seguintes.

   [ecs-user@hadoop003 ~]$ jps
   1347 SecondaryNameNode
   1256 DataNode
   1481 NodeManager
   1759 Jps
   
   [ecs-user@hadoop002 ~]$ jps
   2192 Jps
   1686 NodeManager
   1499 ResourceManager
   1307 DataNode
   
   [ecs-user@hadoop001 ~]$ jps
   2355 Jps
   1589 NameNode
   1750 DataNode
   2073 NodeManager

4. No navegador, insira http://<Public IP address of hadoop002 ECS instance>:8088 para acessar a interface web do YARN.

   Visualize o uso de recursos do cluster, o status dos jobs MapReduce e informações de fila.

   Importante

   Permita tráfego de entrada na porta 8088 no grupo de segurança. Caso contrário, a interface web ficará inacessível. Consulte Add a security group rule.

   A página All Applications exibe métricas do cluster: Active Nodes é 3, Total Resources é memory:24 GB, vCores:24, o tipo de agendador é Capacity Scheduler e nenhuma aplicação foi enviada ou está em execução no momento.

5. No navegador, insira http://<Public IP address of hadoop001 ECS instance>:9870 para acessar a interface web do NameNode. Insira http://<Public IP address of hadoop003 ECS instance>:9868 para acessar a interface web do SecondaryNameNode.

   Visualize o status do HDFS, a integridade do cluster, os nós ativos e os logs do NameNode.

   A página a seguir indica que o ambiente distribuído foi criado.

   Importante

   Permita tráfego de entrada na porta 9870 no grupo de segurança. Caso contrário, a interface web ficará inacessível. Consulte Add a security group rule.

   Após o acesso bem-sucedido, a interface web do NameNode exibe a página Overview. O título da página mostra que o NameNode está no estado active. A seção Summary mostra o status de segurança e tempo de execução do cluster, incluindo Security is off e Safemode is off. Abaixo, são exibidos a capacidade de armazenamento e o uso do cluster (por exemplo, Configured Capacity, DFS Used, DFS Remaining).

Etapa 1: Instalar o JDK

1. Conecte-se à instância ECS como um usuário comum.

   Consulte Connect to a Linux instance using Workbench.

   Importante

   A comunidade Hadoop não recomenda executar o Hadoop como usuário root devido a problemas de segurança e permissões. Use um usuário não root, como ecs-user.

2. Baixe o pacote de instalação do JDK 1.8.

   wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

3. Descompacte o pacote de instalação do JDK 1.8.

   tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

4. Mova e renomeie a pasta de instalação do JDK.

   Este exemplo renomeia a pasta de instalação do JDK para java8. Você pode usar um nome diferente.

   sudo mv java-se-8u41-ri/ /usr/java8

5. Configure as variáveis de ambiente do Java.

   Se você renomeou a pasta de instalação do JDK, substitua java8 nos comandos a seguir pelo nome real.

   sudo sh -c "echo 'export JAVA_HOME=/usr/java8' >> /etc/profile"
   sudo sh -c 'echo "export PATH=\$PATH:\$JAVA_HOME/bin" >> /etc/profile'
   source /etc/profile

6. Verifique se o JDK está instalado.

   java -version

   A saída a seguir indica uma instalação bem-sucedida.

   [ecs-user@hadoop001 ~]$ java -version
   openjdk version "1.8.0_41"
   OpenJDK Runtime Environment (build 1.8.0_41-b04)
   OpenJDK 64-Bit Server VM (build 25.40-b25, mixed mode)

Etapa 2: Configurar login SSH sem senha

1. Crie uma chave pública e uma chave privada.

   ssh-keygen -t rsa

   [ecs-user@hadoop001 ~]$ ssh-keygen -t rsa
   Generating public/private rsa key pair.
   Enter file in which to save the key (/home/ecs-user/.ssh/id_rsa):
   Enter passphrase (empty for no passphrase):
   Enter same passphrase again:
   Your identification has been saved in /home/ecs-user/.ssh/id_rsa.
   Your public key has been saved in /home/ecs-user/.ssh/id_rsa.pub.
   The key fingerprint is:
   SHA256:xxx ecs-user@hadoop001
   The key's randomart image is:
   +---[RSA 3072]----+
   |    .E            |
   |     o            |
   | o .   .          |
   | o +  .           |
   |  ++oo S .        |
   | o..* + o o       |
   | o.o* o   o +     |
   |+=**.O .   o      |
   |=BB*O-*o          |
   +----[SHA256]-----+

2. Adicione a chave pública ao arquivo authorized_keys.

   cd .ssh
   cat id_rsa.pub >> authorized_keys

Etapa 3: Instalar o Hadoop

1. Baixe o pacote de instalação do Hadoop.

   wget http://mirrors.cloud.aliyuncs.com/apache/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz

2. Descompacte o pacote de instalação do Hadoop em /opt/hadoop.

   sudo tar -zxvf hadoop-3.2.4.tar.gz -C /opt/
   sudo mv /opt/hadoop-3.2.4 /opt/hadoop

3. Configure as variáveis de ambiente do Hadoop.

   sudo sh -c "echo 'export HADOOP_HOME=/opt/hadoop' >> /etc/profile"
   sudo sh -c "echo 'export PATH=\$PATH:/opt/hadoop/bin' >> /etc/profile"
   sudo sh -c "echo 'export PATH=\$PATH:/opt/hadoop/sbin' >> /etc/profile"
   source /etc/profile

4. Modifique os arquivos de configuração yarn-env.sh e hadoop-env.sh.

   sudo sh -c 'echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh'
   sudo sh -c 'echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh'

5. Verifique se o Hadoop está instalado.

   hadoop version

   A saída a seguir indica uma instalação bem-sucedida.

   [ecs-user@hadoop001 ~]$ hadoop version
   Hadoop 3.2.4
   Source code repository Unknown -r 7e5d998xxx
   Compiled by ubuntu on 2022-07-12T11:58Z
   Compiled with protoc 2.5.0
   From source with checksum ee031cxxx
   This command was run using /opt/hadoop/share/hadoop/common/hadoop-common-3.2.4.jar

Etapa 4: Configurar o Hadoop

1. Modifique o arquivo de configuração do Hadoop core-site.xml.

   1. Abra o arquivo para edição.

      sudo vim /opt/hadoop/etc/hadoop/core-site.xml

   2. No nó <configuration></configuration>, insira o conteúdo a seguir.

          <property>
              <name>hadoop.tmp.dir</name>
              <value>file:/opt/hadoop/tmp</value>
              <description>location to store temporary files</description>
          </property>
          <property>
              <name>fs.defaultFS</name>
              <value>hdfs://localhost:9000</value>
          </property>

2. Modifique o arquivo de configuração do Hadoop hdfs-site.xml.

   1. Abra o arquivo para edição.

      sudo vim /opt/hadoop/etc/hadoop/hdfs-site.xml

   2. No nó <configuration></configuration>, insira o conteúdo a seguir.

          <property>
              <name>dfs.replication</name>
              <value>1</value>
          </property>
          <property>
              <name>dfs.namenode.name.dir</name>
              <value>file:/opt/hadoop/tmp/dfs/name</value>
          </property>
          <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/opt/hadoop/tmp/dfs/data</value>
          </property>

Etapa 5: Iniciar o Hadoop

1. Inicialize o namenode.

   hadoop namenode -format

2. Inicie o Hadoop.

   Importante

   • A comunidade Hadoop não recomenda executar o Hadoop como usuário root devido a problemas de segurança e permissões. Use um usuário não root, como ecs-user.

   • Se for necessário executar o Hadoop como root, compreenda o modelo de controle de acesso e os riscos associados antes de modificar os arquivos de configuração a seguir.

     Nota: Executar o Hadoop como root introduz riscos graves de segurança, incluindo, mas não se limitando a, violações de dados, maior vulnerabilidade a malware que pode obter privilégios de root e problemas inesperados de permissão. Consulte a documentação oficial do Hadoop.

   Modifique os arquivos de configuração para permitir que o usuário root inicie os services do Hadoop.

   Os arquivos de configuração a seguir geralmente estão no diretório /opt/hadoop/sbin.

   1. Nos arquivos start-dfs.sh e stop-dfs.sh, adicione os parâmetros a seguir.

      HDFS_DATANODE_USER=root
      HADOOP_SECURE_DN_USER=hdfs
      HDFS_NAMENODE_USER=root
      HDFS_SECONDARYNAMENODE_USER=root

   2. Nos arquivos start-yarn.sh e stop-yarn.sh, adicione os parâmetros a seguir.

      YARN_RESOURCEMANAGER_USER=root
      HADOOP_SECURE_DN_USER=yarn
      YARN_NODEMANAGER_USER=root

   1. Inicie o service HDFS.

      Este script inicia NameNode, SecondaryNameNode e DataNode.

      start-dfs.sh

      O HDFS estará em execução quando a saída corresponder ao seguinte.

      [ecs-user@hadoop001 ~]$ start-dfs.sh
      Starting namenodes on [localhost]
      Starting datanodes
      Starting secondary namenodes [hadoop001]

   2. Inicie o service YARN.

      Este script inicia ResourceManager, NodeManager e ApplicationHistoryServer.

      start-yarn.sh

      O YARN estará em execução quando a saída corresponder ao seguinte.

      [ecs-user@hadoop001 ~]$ start-yarn.sh
      Starting resourcemanager
      Starting nodemanagers

3. Visualize os processos iniciados.

   jps

   Os processos iniciados são os seguintes.

   [ecs-user@hadoop001 ~]$ jps
   13648 NameNode
   14513 NodeManager
   13811 DataNode
   14024 SecondaryNameNode
   14298 ResourceManager
   14861 Jps

4. No navegador, insira http://<Public IP address of the ECS instance>:8088 para acessar a interface web do YARN.

   Visualize o uso de recursos do cluster, o status dos jobs MapReduce e informações de fila.

   Importante

   Permita tráfego de entrada na porta 8088 no grupo de segurança. Caso contrário, a interface web ficará inacessível. Consulte Add a security group rule.

   Após o acesso bem-sucedido, a página exibe a visão geral de All Applications. Em Cluster Metrics, Active Nodes é 1 e Total Resources é memory:8 GB, vCores:8, indicando que o YARN ResourceManager está funcionando normalmente.

5. No navegador, insira http://<Public IP address of the ECS instance>:9870 para acessar a interface web do NameNode.

   Visualize o status do HDFS, a integridade do cluster, os nós ativos e os logs do NameNode.

   Após o acesso bem-sucedido, a interface web do NameNode confirma que o ambiente pseudodistribuído foi criado.

   Importante

   Permita tráfego de entrada na porta 9870 no grupo de segurança. Caso contrário, a interface web ficará inacessível. Consulte Add a security group rule.