DataWorks:Configurar parámetros globales de Spark

Contexto

Apache Spark es un motor para el análisis de datos a gran escala. En DataWorks, puede configurar los parámetros de ejecución de Spark para nodos programados de las siguientes maneras:

• Método 1: Configurar parámetros globales de Spark

  Establezca los parámetros de Spark a nivel de espacio de trabajo para los módulos de DataWorks que ejecutan tareas de EMR. También puede configurar estos parámetros para que tengan una priority mayor que los parámetros de Spark configured within a specific module. Para obtener más información, consulte Configure global Spark parameters.

• Método 2: Configurar parámetros de Spark específicos del módulo

  • Desarrollo de datos (Data Studio): Para nodos Hive y Spark, puede establecer Spark properties for individual node tasks en el panel Scheduling Settings ubicado en el lado derecho de la página de edición del nodo.

  • Other modules: Setting Spark properties within other modules is not supported.

Limitaciones

• Only the following roles can configure global Spark parameters:
  • An Alibaba Cloud account.

  • Una RAM user or RAM role with the AliyunDataWorksFullAccess permission.

  • A RAM user with theWorkspace Administrator role.

• Spark parameters take effect only forEMR Spark nodes,EMR Spark SQL nodes, andEMR Spark Streaming nodes.

  Nota

  Para usar Ranger como control de acceso en Spark, agregue la configuración spark.hadoop.fs.oss.authorization.method=ranger en global Spark parameters para aplicar el control de acceso de Ranger.

• You can update Spark-related configurations in both the DataWorksManagement Center and the consola de E-MapReduce. If a parameter's configuration differs between these two locations, tasks submitted through DataWorks use the configuration from the DataWorks Management Center.

• Actualmente, solo puede configurar parámetros globales de Spark para los módulos Desarrollo de datos (Data Studio), Calidad de datos, Análisis de datos y Centro de operaciones.

Requisitos previos

Debe asociar un clúster de E-MapReduce con su espacio de trabajo de DataWorks. Para obtener más información, consulte Bind an E-MapReduce compute engine.

Configurar parámetros globales de Spark

1. Vaya a la página de configuración de parámetros globales de Spark.

   1. Inicie sesión en la consola de DataWorks. En la región objetivo, haga clic en More > Management Center en el panel de navegación izquierdo. Seleccione un espacio de trabajo de la lista desplegable y haga clic en Go to Management Center.

   2. En el panel de navegación izquierdo, haga clic en Computing Resources.

   3. Find the target clúster de EMR y haga clic en SPARK Parameters to go to the global Spark parameters configuration page.

      La página de configuración de parámetros globales de Spark contiene una sección Production and Development Environments, que enumera los módulos DataStudio (Data Development) y Data Analysis. A la derecha de cada módulo, hay una casilla Global Configuration Has Priority y un enlace Expand. En la esquina superior derecha de la página se encuentra el botón Edit SPARK Parameters.

2. Configure global Spark parameters.

   En la esquina superior derecha de la página SPARK Parameters, haga clic en Edit SPARK Parameters para configurar los parámetros globales de Spark y la prioridad de cada módulo.

   Nota

   Esta configuración se aplica globalmente a todo el espacio de trabajo. Antes de continuar, asegúrese de haber seleccionado el espacio de trabajo correcto.

   Parámetro	Descripción
   Propiedad de Spark	Configure las propiedades de Spark (Spark Property Name y Spark Property Value) que utiliza un módulo para ejecutar tareas de EMR. Para consultar las configuraciones válidas, vea Spark Configurations y Spark Configurations on Kubernetes.
   Global Settings Take Precedence	Si selecciona esta opción, las configuraciones globales tienen prioridad sobre las configuraciones específicas del módulo. En este caso, las tareas utilizan las propiedades globales de Spark. Configuraciones globales: Los parámetros de Spark configurados en la página SPARK Parameters para un clúster de EMR enManagement Center > Computing Resources. Nota Actualmente, solo puede configurar parámetros globales de Spark para los módulos Desarrollo de datos (Data Studio), Calidad de datos, Análisis de datos y Centro de operaciones. Configuraciones específicas del módulo: Desarrollo de datos (Data Studio): Para nodos Hive y Spark, puede establecer propiedades de Spark para tareas de nodos individuales en el panel Scheduling Settings ubicado en el lado derecho de la página de edición del nodo. Otros módulos: No se admite la configuración de propiedades de Spark dentro de otros módulos.