E-MapReduce:Read from and write to HMS

Requisitos previos

Prepare una fuente de datos. Este ejemplo utiliza un clúster de data lake creado en la página EMR on ECS. El clúster incluye el servicio Hive y sus Metadata se almacenan en Built-in MySQL. Para obtener más información, consulte Create a cluster.

Paso 1: Crear una conexión de red

1. Vaya a la página Network Connection.

   1. Inicie sesión en la consola de EMR.

   2. En el panel de navegación izquierdo, elija EMR Serverless > Spark.

   3. En la página Spark, haga clic en el nombre del espacio de trabajo de destino.

   4. En la página EMR Serverless Spark, haga clic en Normal Network Connection en el panel de navegación izquierdo.

2. En la página Normal Network Connection, haga clic en Create Network Connection.

3. En el cuadro de diálogo Create Network Connection, configure los siguientes parámetros y haga clic en OK.

   Parámetro	Descripción
   Name	Introduzca un nombre para la conexión.
   VPC	Seleccione la misma VPC que utiliza el clúster de EMR. Si no hay ninguna VPC disponible, haga clic en Create VPC para crear una en la consola de VPC. Para obtener más información, consulte VPCs and vSwitches. Nota Si su aplicación de Serverless Spark requiere acceso a Internet, asegúrese de que la conexión de red lo proporcione. Por ejemplo, puede desplegar una puerta de enlace NAT pública en la VPC para habilitar el acceso a Internet en las instancias de Serverless Spark. Para obtener más información, consulte Public NAT Gateway.
   vSwitch	Seleccione un vSwitch que esté en la misma VPC que el clúster de EMR. Si no hay ningún vSwitch disponible en la zona actual, haga clic en vSwitch para crear uno en la consola de VPC. Para obtener más información, consulte Create and manage vSwitches. Importante Solo es posible seleccionar vSwitches en zonas específicas. Para obtener más información, consulte Usage limits.

   La conexión de red se crea cuando su Status cambia a Succeeded.

Paso 2: Agregar una regla de security group

1. Obtenga el bloque CIDR del vSwitch que utiliza la conexión de red.

   Inicie sesión en la consola de VPC y vaya a la página vSwitch para localizar el bloque CIDR del vSwitch.

2. Agregue una regla de security group.

   1. Inicie sesión en la consola de EMR on ECS.

   2. En la página EMR on ECS, haga clic en el ID del clúster de destino.

   3. En la página Basic Information, dentro de la sección Security, haga clic en el vínculo junto a Cluster Security Group.

   4. En la página Security Group Details, dentro de la sección Rules, haga clic en Add Rule, configure los siguientes parámetros y luego haga clic en OK.

      Parámetro	Descripción
      Protocol	El protocolo de red permitido. Valor predeterminado: TCP. Nota Si su conexión de red utiliza autenticación Kerberos, se recomienda seleccionar UDP y abrir el puerto 88. Para obtener más información sobre la autenticación Kerberos, consulte Enable Kerberos authentication.
      Source	Introduzca el bloque CIDR del vSwitch obtenido en el paso anterior. Importante Para evitar riesgos de seguridad, no establezca Authorization Object en 0.0.0.0/0.
      Destination (Current Instance)	El puerto de destino que se va a abrir. Por ejemplo, 9083.

(Opcional) Paso 3: Conectarse a Hive y consultar datos

Omita este paso si ya cuenta con una tabla de Hive.

1. Inicie sesión en el nodo maestro de su clúster mediante SSH. Para obtener más información, consulte Log on to a cluster.

2. Inicie la línea de comandos de Hive.

   hive

3. Cree una tabla.

   CREATE TABLE my_table (id INT,name STRING);

4. Inserte datos en la tabla.

   INSERT INTO my_table VALUES (1, 'John'); 
   INSERT INTO my_table VALUES (2, 'Jane');

5. Consulte los datos.

   SELECT * FROM my_table;

(Opcional) Paso 4: Compilar y cargar el artefacto JAR

Para ejecutar un trabajo JAR, primero debe preparar un artefacto. Omita este paso en los trabajos de Spark SQL.

1. Cree un proyecto de Maven en su computadora local.

   El proyecto contiene lo siguiente:

   package com.example;
   
   import org.apache.spark.sql.Dataset;
   import org.apache.spark.sql.Row;
   import org.apache.spark.sql.SparkSession;
   
   public class DataFrameExample {
       public static void main(String[] args) {
           // Create a SparkSession with Hive support enabled.
           SparkSession spark = SparkSession.builder()
                   .appName("HMSQueryExample")
                   .enableHiveSupport()
                   .getOrCreate();
   
           // Execute a query.
           Dataset<Row> result = spark.sql("SELECT * FROM default.my_table");
   
           // Print the query results.
           result.show();
   
           // Stop the SparkSession.
           spark.stop();
       }
   }

   El archivo pom.xml contiene lo siguiente:

   <?xml version="1.0" encoding="UTF-8"?>
   <project xmlns="http://maven.apache.org/POM/4.0.0"
            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
            xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
       <modelVersion>4.0.0</modelVersion>
   
       <groupId>org.example</groupId>
       <artifactId>sparkDataFrame</artifactId>
       <version>1.0-SNAPSHOT</version>
   
       <properties>
           <maven.compiler.source>8</maven.compiler.source>
           <maven.compiler.target>8</maven.compiler.target>
           <spark.version>3.3.1</spark.version>
           <scala.binary.version>2.12</scala.binary.version>
       </properties>
   
       <dependencies>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-core_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-sql_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-hive_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
       </dependencies>
   </project>

2. Ejecute el comando mvn package para empaquetar el proyecto. Este comando genera el archivo sparkDataFrame-1.0-SNAPSHOT.jar.

3. En la página de EMR Serverless Spark de su espacio de trabajo, haga clic en Artifacts en el panel de navegación izquierdo.

4. En la página Artifacts, haga clic en Upload File.

5. Cargue el archivo sparkDataFrame-1.0-SNAPSHOT.jar desde su computadora local.

Paso 5: Crear y ejecutar un trabajo