E-MapReduce:Gestión de plantillas de configuración de Spark

Requisitos previos

Ya creó un espacio de trabajo. Para obtener más información, consulte Manage workspaces.

Crear una plantilla de configuración

1. Vaya a la página de gestión de configuraciones.

   1. Inicie sesión en la consola de E-MapReduce.

   2. En el panel de navegación izquierdo, elija EMR Serverless > Spark.

   3. En la página Spark, haga clic en el nombre del espacio de trabajo de destino.

   4. En la página EMR Serverless Spark, haga clic en Configurations en el panel de navegación izquierdo.

2. En la página Task Templates, haga clic en Create Template.

3. En la página Create Task Template, configure a continuación los parámetros y haga clic en create.

   Parámetro	Descripción
   Template Name	Introduzca un nombre para la plantilla.
   Engine Version	Versión del motor para el entorno de cómputo. Para obtener más información, consulte Engine versions.
   Timeout Period	Tiempo máximo de ejecución de un trabajo. Nota Cuando envíe un trabajo, puede anular el ajuste de tiempo de espera de la plantilla si pasa el parámetro spark.emr.serverless.jr.timeout=-1 para permitir que el trabajo se ejecute de forma indefinida.
   spark.driver.cores	Número de núcleos de CPU para el proceso del controlador.
   spark.driver.memory	Cantidad de memoria disponible para el proceso del controlador.
   spark.executor.cores	Número de núcleos de CPU que usará cada ejecutor.
   spark.executor.memory	Cantidad de memoria que puede usar cada ejecutor.
   spark.executor.instances	Número de executors que asigna Spark.
   Dynamic Resource Allocation	Deshabilitada de forma predeterminada. Cuando se habilita, configure a continuación los parámetros: Minimum Number of Executors: el valor predeterminado es 2. Maximum Number of Executors: si no se establece spark.executor.instances, el valor predeterminado es 10.
   More Memory Configurations	spark.driver.memoryOverhead: memoria fuera del heap disponible para el controlador. Si no se establece este parámetro, Spark asigna automáticamente un valor basado en el valor predeterminado, que es max(384 MB, 10% * spark.driver.memory). spark.executor.memoryOverhead: memoria fuera del heap disponible para cada ejecutor. Si no se establece este parámetro, Spark asigna automáticamente un valor basado en el valor predeterminado, que es max(384 MB, 10% * spark.executor.memory). spark.memory.offHeap.size: cantidad de memoria fuera del heap disponible para Spark. El valor predeterminado es 1 GB. Este parámetro surte efecto solo cuando spark.memory.offHeap.enabled se establece en true. Cuando se usa el motor Fusion, esta función se habilita de forma predeterminada con 1 GB de memoria fuera del heap.
   Spark Configuration	Propiedades de configuración personalizadas de Spark. Use espacios para separar los pares clave-valor. Ejemplo: spark.sql.catalog.paimon.metastore dlf. EMR Serverless Spark proporciona varios parámetros integrados específicos del servicio. Para obtener más detalles, consulte Custom Spark Conf parameters.

Después de crear una plantilla de configuración, puede modificarla o eliminarla si hace clic en Edit o Delete en la columna Actions.

Usar una plantilla de configuración

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --conf spark.emr.serverless.templateId=<template_id> \
  /path/to/your/spark-job.jar

Restablecer a los valores predeterminados del sistema

Para restablecer una plantilla de configuración a los valores predeterminados del sistema:

1. En la pestaña Task Templates, haga clic en Edit en la columna Actions.

2. En la página Edit Task Template, haga clic en Reset to system defaults en la parte inferior de la página y, a continuación, haga clic en Save Changes.

Cambiar la plantilla predeterminada

Para establecer otra plantilla de configuración como predeterminada:

1. En la página Task Templates, haga clic en Set as default en la columna Actions.

2. En el cuadro de diálogo que aparece, haga clic en OK.