Todos los productos
Search
Centro de documentos

E-MapReduce:SparkSQL development

Última actualización: Sep 04, 2026

Utilice el editor SQL integrado en EMR Serverless Spark para escribir y ejecutar trabajos de Spark SQL de forma interactiva. Una vez ejecutado un trabajo, acceda a la interfaz de usuario de Spark para inspeccionar el estado de ejecución, el uso de recursos y los registros.

Requisitos previos

Antes de empezar, asegúrese de contar con lo siguiente:

Crear un trabajo de Spark SQL

Importante

Los parámetros de DLF Catalog se cargan durante la inicialización de SparkSession. Establecer parámetros relacionados con el catálogo, como spark.sql.catalog.dlf.warehouse, de manera dinámica en código PySpark mediante spark.conf.set() no surte efecto. Para configurar correctamente estos parámetros, especifíquelos como parámetros de inicio al enviar un trabajo. Por ejemplo, agregue spark.sql.catalog.dlf.warehouse=oss://your-bucket/warehouse-path en la sección Configuration de la consola de EMR Serverless Spark o mediante el parámetro --conf en la CLI.

  1. Vaya a la página de desarrollo.

    1. Inicie sesión en la consola de EMR.

    2. En el panel de navegación izquierdo, seleccione EMR Serverless \> Spark.

    3. En la página Spark, haga clic en el nombre del espacio de trabajo deseado.

    4. En la página EMR Serverless Spark, haga clic en Development en el panel de navegación izquierdo.

  2. Cree un trabajo.

    1. En la pestaña Development, haga clic en el icono image.

    2. En el cuadro de diálogo, introduzca un Name, establezca Type en SparkSQL y haga clic en OK.

    3. En la esquina superior derecha, seleccione un catálogo de datos, una base de datos y una instancia de sesión SQL en ejecución. Para crear una nueva instancia de sesión SQL, seleccione Connect to SQL Session en la lista desplegable. Consulte Manage SQL sessions para obtener más detalles.

    4. Introduzca las sentencias SQL en el editor.

      Ejemplo 1: Operaciones SQL básicas

      Cree una base de datos, cámbiese a ella, cree una tabla, inserte filas y consulte los datos.

      create DATABASE test_sql;
      
      use test_sql;
      
      CREATE TABLE IF NOT EXISTS my_table (id INT, name STRING);
      
      INSERT INTO my_table VALUES(1, 'Alice'),(2, 'Bob');
      
      SELECT * FROM my_table WHERE id > 1;

      Los resultados se muestran en el panel de salida debajo del editor.

      #

      id

      name

      1

      2

      Bob

      Ejemplo 2: Tabla externa basada en CSV

      Cree una tabla externa respaldada por un archivo CSV en Object Storage Service (OSS) y ejecute una consulta analítica. Reemplace oss://<bucketname>/user/ con la ruta real de su bucket.

      1. Cree la tabla externa. Defina una tabla llamada orders con los siguientes campos:

        • order_id: El ID del pedido.

        • order_date: La marca de tiempo del pedido, por ejemplo, '2025-07-01 10:00:00'.

        • order_category: La categoría del producto, por ejemplo, 'Electronics' o 'Apparel'.

        • order_revenue: El monto del pedido.

        CREATE TABLE orders (
          order_id       STRING,   -- Order ID
          order_date     STRING,   -- Order timestamp
          order_category STRING,   -- Product category
          order_revenue  DOUBLE    -- Order amount
        )
        USING CSV
        OPTIONS (
          path   'oss://<bucketname>/user/',
          header 'true'
        );
      2. Inserte datos de prueba.

        INSERT OVERWRITE TABLE orders VALUES
          ('o1',  '2025-07-01 10:00:00', 'Electronics', 5999.0),
          ('o2',  '2025-07-02 11:30:00', 'Apparel',     299.0),
          ('o3',  '2025-07-03 14:45:00', 'Electronics', 899.0),
          ('o4',  '2025-07-04 09:15:00', 'Home Goods',  99.0),
          ('o5',  '2025-07-05 16:20:00', 'Electronics', 1999.0),
          ('o6',  '2025-07-06 08:00:00', 'Apparel',     199.0),
          ('o7',  '2025-07-07 12:10:00', 'Electronics', 799.0),
          ('o8',  '2025-07-08 18:30:00', 'Home Goods',  59.0),
          ('o9',  '2025-07-09 20:00:00', 'Electronics', 399.0),
          ('o10', '2025-07-10 07:45:00', 'Apparel',     599.0),
          ('o11', '2025-07-11 09:00:00', 'Electronics', 1299.0),
          ('o12', '2025-07-12 13:20:00', 'Home Goods',  159.0),
          ('o13', '2025-07-13 17:15:00', 'Apparel',     499.0),
          ('o14', '2025-07-14 21:30:00', 'Electronics', 999.0),
          ('o15', '2025-07-15 06:10:00', 'Home Goods',  299.0);
      3. Ejecute una consulta analítica. La siguiente consulta devuelve el rendimiento de ventas por categoría durante el periodo de 15 días: recuento de pedidos, GMV total (valor bruto de mercancía), monto promedio por pedido y hora del último pedido. Solo incluye categorías con ingresos totales superiores a 1,000, ordenadas por GMV en orden descendente.

        SELECT
            order_category,
            COUNT(order_id)    AS order_count,
            SUM(order_revenue) AS gmv,
            AVG(order_revenue) AS avg_order_amount,
            MAX(order_date)    AS latest_order_date
        FROM orders
        WHERE
            CAST(order_date AS TIMESTAMP) BETWEEN '2025-07-01' AND '2025-07-15'
        GROUP BY order_category
        HAVING SUM(order_revenue) > 1000
        ORDER BY gmv DESC, order_category ASC;

      Ejemplo 3: Crear una tabla Hive Parquet (DLF Format Table)

      De forma predeterminada, EMR Serverless Spark utiliza Apache Paimon como formato de tabla. Para crear una tabla Hive Parquet en su lugar, debe anular la configuración predeterminada en los parámetros de inicio del trabajo.

      Parámetros de inicio

      Antes de crear una tabla Hive Parquet, agregue los siguientes parámetros de configuración de Spark para evitar que el catálogo Paimon intercepte la creación de tablas:

      spark.sql.catalog.spark_catalog=org.apache.spark.sql.hive.HiveCatalog
      spark.sql.defaultFileFormat=parquet

      Puede agregar estos parámetros en la sección Configuration de la consola de EMR Serverless Spark o mediante el parámetro --conf en la CLI.

      Método SQL

      Utilice la sintaxis CREATE TABLE ... USING PARQUET para crear una tabla Hive Parquet. No utilice STORED AS PARQUET.

      CREATE TABLE my_parquet_table (
        id INT,
        name STRING,
        created_at TIMESTAMP
      ) USING PARQUET;

      Método de la API DataFrame

      Utilice df.write.format("parquet").saveAsTable(...) para escribir datos como una tabla Hive Parquet.

      df.write.format("parquet").saveAsTable("my_parquet_table")
      Nota

      Si su espacio de trabajo está vinculado a un DLF Catalog, se recomienda crear tablas mediante sesiones de Spark o sentencias SQL para garantizar la coherencia con el catálogo de metadatos.

    5. (Opcional) Haga clic en la pestaña Version Information a la derecha para comparar versiones. El editor resalta las diferencias en el código SQL entre versiones.

  3. Ejecute y publique el trabajo.

    1. Haga clic en Run. Los resultados aparecen en la pestaña Execution Results. Si ocurre un error, revise la pestaña Execution Issues. El panel de historial de ejecuciones a la derecha muestra los registros de los últimos tres días.

    2. Tras confirmar que el trabajo se ejecuta correctamente, haga clic en Publish en la esquina superior derecha.

    3. En el cuadro de diálogo Publish, introduzca las notas de la versión y haga clic en OK.

Acceder a la interfaz de usuario de Spark

La interfaz de usuario de Spark muestra el estado de ejecución de tareas, el uso de recursos e información de registros; es útil para analizar y optimizar sus trabajos de Spark.

Acceso desde los resultados de ejecución

Este método requiere las siguientes versiones de motor o posteriores: esr-4.2.0 (esr-4.x), esr-3.2.0 (esr-3.x) o esr-2.6.0 (esr-2.x).

Después de que se ejecute la sentencia SQL, haga clic en Spark UI en la parte inferior de la pestaña Execution Results.

Acceso desde la instancia de sesión

Después de que se ejecute la sentencia SQL, localice la instancia de sesión y seleccione image \> Spark UI.

Atajos de teclado

Function

Windows

Mac

Description

Ejecutar script actual

Ctrl + Enter

Control + Enter

Ejecuta todas las sentencias SQL o solo la selección resaltada. Equivale a hacer clic en Run.

Formatear SQL

Ctrl + P

Control + P

Formatea la estructura SQL: estandariza la sangría, los saltos de línea y el uso de mayúsculas en palabras clave.

Buscar texto

Ctrl + F

Control + F

Busca palabras clave en el script actual.

Guardar tarea

Ctrl + S

Control + S

Guarda el trabajo actual no publicado para evitar la pérdida de datos.

Pasos siguientes

Programe el trabajo para que se ejecute periódicamente mediante la creación de un flujo de trabajo. Consulte Create a workflow. Para ver un ejemplo completo de programación, consulte Quick start for Spark SQL development.

Preguntas frecuentes

¿Se puede superar el límite de descarga de 10,000 filas para los resultados de consulta?

No. La descarga de resultados de consulta en el desarrollo de datos de EMR Serverless Spark está sujeta a un límite estricto de la plataforma. Puede descargar un máximo de 10,000 filas y el tamaño total del archivo no puede exceder los 10 MB. Este límite no se puede modificar mediante configuración.

Para exportar conjuntos de datos más grandes, utilice uno de los siguientes métodos:

  • Envíe un trabajo mediante spark-submit y escriba los resultados en Object Storage Service (OSS) o Hadoop Distributed File System (HDFS).

  • Utilice una tarea de sincronización sin conexión en DataWorks para exportar los datos.

¿Proporciona EMR Serverless Spark API públicas para Spark History?

Sí. EMR Serverless Spark proporciona API públicas. Para consultar la lista completa de operaciones de API disponibles, véase API overview.