E-MapReduce:Read from and write to HMS

Pré-requisitos

Prepare uma fonte de dados. Este exemplo utiliza um cluster de data lake criado na página EMR on ECS. O cluster inclui o service Hive e seus Metadata estão armazenados no Built-in MySQL. Para mais informações, consulte Create a cluster.

Etapa 1: Criar uma conexão de rede

1. Acesse a página Network Connection.

   1. Faça login no console EMR.

   2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.

   3. Na página Spark, clique no nome do workspace desejado.

   4. Na página EMR Serverless Spark, clique em Normal Network Connection no painel de navegação à esquerda.

2. Na página Normal Network Connection, clique em Create Network Connection.

3. Na caixa de diálogo Create Network Connection, configure os parâmetros abaixo e clique em OK.

   Parâmetro	Descrição
   Name	Insira um nome para a conexão.
   VPC	Selecione a mesma VPC do cluster EMR. Caso não haja uma VPC disponível, clique em Create VPC para criar uma no console VPC. Para mais informações, consulte VPCs and vSwitches. Nota Se sua aplicação Serverless Spark precisar de acesso à internet, garanta que a conexão de rede o forneça. Por exemplo, implante um NAT gateway público na VPC para habilitar o acesso à internet nas instâncias do Serverless Spark. Para mais informações, consulte Public NAT Gateway.
   vSwitch	Escolha um vSwitch na mesma VPC do cluster EMR. Se nenhum vSwitch estiver disponível na zona atual, clique em vSwitch para criar um no console VPC. Para mais informações, consulte Create and manage vSwitches. Importante A seleção de vSwitches restringe-se a zonas específicas. Para mais informações, consulte Usage limits.

   A conexão de rede será criada quando o Status mudar para Succeeded.

Etapa 2: Adicionar uma regra de grupo de segurança

1. Obtenha o bloco CIDR do vSwitch utilizado pela conexão de rede.

   Faça login no console VPC e acesse a página vSwitch para localizar o bloco CIDR do vSwitch.

2. Adicione uma regra ao grupo de segurança.

   1. Faça login no console EMR on ECS.

   2. Na página EMR on ECS, clique no ID do cluster desejado.

   3. Na página Basic Information, na seção Security, clique no link ao lado de Cluster Security Group.

   4. Na página Security Group Details, na seção Rules, clique em Add Rule, configure os parâmetros a seguir e clique em OK.

      Parâmetro	Descrição
      Protocol	Protocolo de rede permitido. Padrão: TCP. Nota Caso sua conexão de rede utilize autenticação Kerberos, selecione UDP e abra a porta 88. Para mais detalhes sobre autenticação Kerberos, consulte Enable Kerberos authentication.
      Source	Insira o bloco CIDR do vSwitch obtido na etapa anterior. Importante Para evitar riscos de segurança, não defina Authorization Object como 0.0.0.0/0.
      Destination (Current Instance)	Porta de destino a ser aberta. Exemplo: 9083.

(Opcional) Etapa 3: Conectar ao Hive e consultar dados

Ignore esta etapa se já possuir uma tabela Hive.

1. Conecte-se ao nó mestre do cluster via SSH. Para mais informações, consulte Log on to a cluster.

2. Inicie a linha de comando do Hive.

   hive

3. Crie uma tabela.

   CREATE TABLE my_table (id INT,name STRING);

4. Insira dados na tabela.

   INSERT INTO my_table VALUES (1, 'John'); 
   INSERT INTO my_table VALUES (2, 'Jane');

5. Consulte os dados.

   SELECT * FROM my_table;

(Opcional) Etapa 4: Compilar e enviar artefato JAR

Para executar um job JAR, prepare um artefato antes. Ignore esta etapa para jobs Spark SQL.

1. Crie um projeto Maven na máquina local.

   O projeto contém o seguinte:

   package com.example;
   
   import org.apache.spark.sql.Dataset;
   import org.apache.spark.sql.Row;
   import org.apache.spark.sql.SparkSession;
   
   public class DataFrameExample {
       public static void main(String[] args) {
           // Create a SparkSession with Hive support enabled.
           SparkSession spark = SparkSession.builder()
                   .appName("HMSQueryExample")
                   .enableHiveSupport()
                   .getOrCreate();
   
           // Execute a query.
           Dataset<Row> result = spark.sql("SELECT * FROM default.my_table");
   
           // Print the query results.
           result.show();
   
           // Stop the SparkSession.
           spark.stop();
       }
   }

   O arquivo pom.xml contém o seguinte:

   <?xml version="1.0" encoding="UTF-8"?>
   <project xmlns="http://maven.apache.org/POM/4.0.0"
            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
            xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
       <modelVersion>4.0.0</modelVersion>
   
       <groupId>org.example</groupId>
       <artifactId>sparkDataFrame</artifactId>
       <version>1.0-SNAPSHOT</version>
   
       <properties>
           <maven.compiler.source>8</maven.compiler.source>
           <maven.compiler.target>8</maven.compiler.target>
           <spark.version>3.3.1</spark.version>
           <scala.binary.version>2.12</scala.binary.version>
       </properties>
   
       <dependencies>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-core_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-sql_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-hive_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
       </dependencies>
   </project>

2. Execute o comando mvn package para empacotar o projeto. Esse comando gera o arquivo sparkDataFrame-1.0-SNAPSHOT.jar.

3. Na página do EMR Serverless Spark do workspace, clique em Artifacts no painel de navegação à esquerda.

4. Na página Artifacts, clique em Upload File.

5. Envie o arquivo sparkDataFrame-1.0-SNAPSHOT.jar da máquina local.

Etapa 5: Criar e executar um job