Utilice el editor SQL integrado en EMR Serverless Spark para escribir y ejecutar trabajos de Spark SQL de forma interactiva. Una vez ejecutado un trabajo, acceda a la interfaz de usuario de Spark para inspeccionar el estado de ejecución, el uso de recursos y los registros.
Requisitos previos
Antes de empezar, asegúrese de contar con lo siguiente:
Un espacio de trabajo. Consulte Create a workspace.
Una instancia de sesión SQL. Consulte Manage SQL sessions.
Crear un trabajo de Spark SQL
Los parámetros de DLF Catalog se cargan durante la inicialización de SparkSession. Establecer parámetros relacionados con el catálogo, como spark.sql.catalog.dlf.warehouse, de manera dinámica en código PySpark mediante spark.conf.set() no surte efecto. Para configurar correctamente estos parámetros, especifíquelos como parámetros de inicio al enviar un trabajo. Por ejemplo, agregue spark.sql.catalog.dlf.warehouse=oss://your-bucket/warehouse-path en la sección Configuration de la consola de EMR Serverless Spark o mediante el parámetro --conf en la CLI.
-
Vaya a la página de desarrollo.
Inicie sesión en la consola de EMR.
En el panel de navegación izquierdo, seleccione EMR Serverless \> Spark.
En la página Spark, haga clic en el nombre del espacio de trabajo deseado.
En la página EMR Serverless Spark, haga clic en Development en el panel de navegación izquierdo.
-
Cree un trabajo.
En la pestaña Development, haga clic en el icono
.En el cuadro de diálogo, introduzca un Name, establezca Type en SparkSQL y haga clic en OK.
En la esquina superior derecha, seleccione un catálogo de datos, una base de datos y una instancia de sesión SQL en ejecución. Para crear una nueva instancia de sesión SQL, seleccione Connect to SQL Session en la lista desplegable. Consulte Manage SQL sessions para obtener más detalles.
-
Introduzca las sentencias SQL en el editor.
Ejemplo 1: Operaciones SQL básicas
Cree una base de datos, cámbiese a ella, cree una tabla, inserte filas y consulte los datos.
create DATABASE test_sql; use test_sql; CREATE TABLE IF NOT EXISTS my_table (id INT, name STRING); INSERT INTO my_table VALUES(1, 'Alice'),(2, 'Bob'); SELECT * FROM my_table WHERE id > 1;Los resultados se muestran en el panel de salida debajo del editor.
#
id
name
1
2
Bob
Ejemplo 2: Tabla externa basada en CSV
Cree una tabla externa respaldada por un archivo CSV en Object Storage Service (OSS) y ejecute una consulta analítica. Reemplace
oss://<bucketname>/user/con la ruta real de su bucket.-
Cree la tabla externa. Defina una tabla llamada
orderscon los siguientes campos:order_id: El ID del pedido.order_date: La marca de tiempo del pedido, por ejemplo,'2025-07-01 10:00:00'.order_category: La categoría del producto, por ejemplo,'Electronics'o'Apparel'.order_revenue: El monto del pedido.
CREATE TABLE orders ( order_id STRING, -- Order ID order_date STRING, -- Order timestamp order_category STRING, -- Product category order_revenue DOUBLE -- Order amount ) USING CSV OPTIONS ( path 'oss://<bucketname>/user/', header 'true' ); -
Inserte datos de prueba.
INSERT OVERWRITE TABLE orders VALUES ('o1', '2025-07-01 10:00:00', 'Electronics', 5999.0), ('o2', '2025-07-02 11:30:00', 'Apparel', 299.0), ('o3', '2025-07-03 14:45:00', 'Electronics', 899.0), ('o4', '2025-07-04 09:15:00', 'Home Goods', 99.0), ('o5', '2025-07-05 16:20:00', 'Electronics', 1999.0), ('o6', '2025-07-06 08:00:00', 'Apparel', 199.0), ('o7', '2025-07-07 12:10:00', 'Electronics', 799.0), ('o8', '2025-07-08 18:30:00', 'Home Goods', 59.0), ('o9', '2025-07-09 20:00:00', 'Electronics', 399.0), ('o10', '2025-07-10 07:45:00', 'Apparel', 599.0), ('o11', '2025-07-11 09:00:00', 'Electronics', 1299.0), ('o12', '2025-07-12 13:20:00', 'Home Goods', 159.0), ('o13', '2025-07-13 17:15:00', 'Apparel', 499.0), ('o14', '2025-07-14 21:30:00', 'Electronics', 999.0), ('o15', '2025-07-15 06:10:00', 'Home Goods', 299.0); -
Ejecute una consulta analítica. La siguiente consulta devuelve el rendimiento de ventas por categoría durante el periodo de 15 días: recuento de pedidos, GMV total (valor bruto de mercancía), monto promedio por pedido y hora del último pedido. Solo incluye categorías con ingresos totales superiores a 1,000, ordenadas por GMV en orden descendente.
SELECT order_category, COUNT(order_id) AS order_count, SUM(order_revenue) AS gmv, AVG(order_revenue) AS avg_order_amount, MAX(order_date) AS latest_order_date FROM orders WHERE CAST(order_date AS TIMESTAMP) BETWEEN '2025-07-01' AND '2025-07-15' GROUP BY order_category HAVING SUM(order_revenue) > 1000 ORDER BY gmv DESC, order_category ASC;
Ejemplo 3: Crear una tabla Hive Parquet (DLF Format Table)
De forma predeterminada, EMR Serverless Spark utiliza Apache Paimon como formato de tabla. Para crear una tabla Hive Parquet en su lugar, debe anular la configuración predeterminada en los parámetros de inicio del trabajo.
Parámetros de inicio
Antes de crear una tabla Hive Parquet, agregue los siguientes parámetros de configuración de Spark para evitar que el catálogo Paimon intercepte la creación de tablas:
spark.sql.catalog.spark_catalog=org.apache.spark.sql.hive.HiveCatalog spark.sql.defaultFileFormat=parquetPuede agregar estos parámetros en la sección Configuration de la consola de EMR Serverless Spark o mediante el parámetro
--confen la CLI.Método SQL
Utilice la sintaxis
CREATE TABLE ... USING PARQUETpara crear una tabla Hive Parquet. No utiliceSTORED AS PARQUET.CREATE TABLE my_parquet_table ( id INT, name STRING, created_at TIMESTAMP ) USING PARQUET;Método de la API DataFrame
Utilice
df.write.format("parquet").saveAsTable(...)para escribir datos como una tabla Hive Parquet.df.write.format("parquet").saveAsTable("my_parquet_table")NotaSi su espacio de trabajo está vinculado a un DLF Catalog, se recomienda crear tablas mediante sesiones de Spark o sentencias SQL para garantizar la coherencia con el catálogo de metadatos.
-
(Opcional) Haga clic en la pestaña Version Information a la derecha para comparar versiones. El editor resalta las diferencias en el código SQL entre versiones.
-
Ejecute y publique el trabajo.
Haga clic en Run. Los resultados aparecen en la pestaña Execution Results. Si ocurre un error, revise la pestaña Execution Issues. El panel de historial de ejecuciones a la derecha muestra los registros de los últimos tres días.
Tras confirmar que el trabajo se ejecuta correctamente, haga clic en Publish en la esquina superior derecha.
En el cuadro de diálogo Publish, introduzca las notas de la versión y haga clic en OK.
Acceder a la interfaz de usuario de Spark
La interfaz de usuario de Spark muestra el estado de ejecución de tareas, el uso de recursos e información de registros; es útil para analizar y optimizar sus trabajos de Spark.
Acceso desde los resultados de ejecución
Este método requiere las siguientes versiones de motor o posteriores: esr-4.2.0 (esr-4.x), esr-3.2.0 (esr-3.x) o esr-2.6.0 (esr-2.x).
Después de que se ejecute la sentencia SQL, haga clic en Spark UI en la parte inferior de la pestaña Execution Results.
Acceso desde la instancia de sesión
Después de que se ejecute la sentencia SQL, localice la instancia de sesión y seleccione
\> Spark UI.
Atajos de teclado
|
Function |
Windows |
Mac |
Description |
|
Ejecutar script actual |
|
|
Ejecuta todas las sentencias SQL o solo la selección resaltada. Equivale a hacer clic en Run. |
|
Formatear SQL |
|
|
Formatea la estructura SQL: estandariza la sangría, los saltos de línea y el uso de mayúsculas en palabras clave. |
|
Buscar texto |
|
|
Busca palabras clave en el script actual. |
|
Guardar tarea |
|
|
Guarda el trabajo actual no publicado para evitar la pérdida de datos. |
Pasos siguientes
Programe el trabajo para que se ejecute periódicamente mediante la creación de un flujo de trabajo. Consulte Create a workflow. Para ver un ejemplo completo de programación, consulte Quick start for Spark SQL development.
Preguntas frecuentes
¿Se puede superar el límite de descarga de 10,000 filas para los resultados de consulta?
No. La descarga de resultados de consulta en el desarrollo de datos de EMR Serverless Spark está sujeta a un límite estricto de la plataforma. Puede descargar un máximo de 10,000 filas y el tamaño total del archivo no puede exceder los 10 MB. Este límite no se puede modificar mediante configuración.
Para exportar conjuntos de datos más grandes, utilice uno de los siguientes métodos:
Envíe un trabajo mediante spark-submit y escriba los resultados en Object Storage Service (OSS) o Hadoop Distributed File System (HDFS).
Utilice una tarea de sincronización sin conexión en DataWorks para exportar los datos.
¿Proporciona EMR Serverless Spark API públicas para Spark History?
Sí. EMR Serverless Spark proporciona API públicas. Para consultar la lista completa de operaciones de API disponibles, véase API overview.