DataWorks:Asociar recurso de cómputo EMR Serverless Spark

Requisitos previos

• Se ha creado un EMR Serverless Spark workspace.

• Se ha creado un DataWorks workspace. El usuario RAM que realice estas operaciones debe ser miembro del espacio de trabajo con el rol Workspace Administrator.

  Importante

  Solo se admiten espacios de trabajo que utilizan la función Use Data Studio (New Version).

• Un serverless resource group está asociado al espacio de trabajo de DataWorks de destino.

Límites

• Límites de región : China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley) y US (Virginia).

• Límites de permisos:

  Operador	Permisos obligatorios
  Cuenta de Alibaba Cloud	No se requieren permisos adicionales.
  Usuario RAM/Rol RAM	Permisos de gestión de DataWorks: Solo los miembros del espacio de trabajo con los roles O&M y Workspace Administrator, o con la directiva AliyunDataWorksFullAccess, pueden crear recursos de cómputo. Para más información, consulte Grant a user the permissions of a Workspace Administrator. Permisos del servicio EMR Serverless Spark: La directiva AliyunEMRServerlessSparkFullAccess. El permiso Owner para el espacio de trabajo EMR Serverless Spark. Para más información, consulte Manage users and roles.

Ir a la página de lista de recursos de cómputo

1. Inicie sesión en la consola de DataWorks. En el panel de navegación izquierdo, cambie a la región de destino y haga clic en More > Management Center. Seleccione su espacio de trabajo en la lista desplegable y haga clic en Go to Management Center.

2. En el panel de navegación izquierdo, haga clic en Computing Resources para abrir la página de lista de recursos de cómputo.

Asociar recurso de cómputo Serverless Spark

En la página de lista de recursos de cómputo, configure y vincule un recurso de cómputo Serverless Spark.

1. Seleccione el tipo de recurso de cómputo que desea asociar.

   1. Haga clic en Associate Computing Resources para ir a la página Associate Computing Resources.

   2. En la página Associate Computing Resources, seleccione Serverless Spark como tipo de recurso de cómputo para abrir la página de configuración Associate EMR Serverless Spark Computing Resource.

2. Configure el recurso de cómputo Serverless Spark.

   En la página de configuración Associate EMR Serverless Spark Computing Resource, configure los siguientes parámetros.

   Parámetro	Descripción
   EMR Serverless Spark Workspace	Seleccione el espacio de trabajo Spark que desea asociar. También puede hacer clic en Create en la lista desplegable para create a Spark workspace.
   Default Engine Version	Seleccione la versión del motor que desea utilizar. Al crear una tarea EMR Spark en Data Studio, esta versión del motor se utiliza de forma predeterminada. Para establecer diferentes versiones del motor para distintas tareas, especifique las versiones en la configuración avanzada de la ventana de edición de tareas Spark.
   Default Resource Queue	Seleccione la cola de recursos que desea utilizar. También puede hacer clic en Create en la lista desplegable para add a queue. Al crear una tarea EMR Spark en Data Studio, esta cola de recursos se utiliza de forma predeterminada. Para establecer diferentes colas de recursos para distintas tareas, especifique las colas en la configuración avanzada de la ventana de edición de tareas Spark.
   Default Kyuubi Gateway	Opcional. La configuración de Kyuubi Gateway determina cómo se ejecutan las siguientes tareas: Si se configura un Kyuubi Gateway: Todas las tareas relacionadas (EMR Spark SQL/Kyuubi y Serverless Spark SQL/Kyuubi) se ejecutan a través del Kyuubi Gateway. Si no se configura ningún Kyuubi Gateway: Las tareas EMR Spark SQL y Serverless Spark SQL se ejecutan mediante spark-submit. Las tareas EMR Kyuubi y Serverless Kyuubi fallan al ejecutarse. Para configurar un gateway, create a Kyuubi Gateway y un token en la EMR Serverless Spark console > Operation Center > Gateway > Kyuubi Gateway . Si Kerberos no está habilitado: Haga clic en el nombre del Kyuubi Gateway para obtener la URL JDBC y el token, y luego combínelos para formar la cadena de conexión completa. Si Kerberos está habilitado: Obtenga la cadena de conexión Beeline según su configuración de Kerberos. Para más información, consulte Use Kerberos with Kyuubi Gateway. # Example of a standard connection string jdbc:hive2://kyuubi-cn-hangzhou-internal.spark.emr.aliyuncs.com:80/;transportMode=http;httpPath=cliservice/token/<token> # Example of a connection string for a Kerberos-enabled cluster. Make sure to include the principal of the Kyuubi service. jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD43*****7C204.COM
   Default Access Identity	La identidad utilizada para acceder a este espacio de trabajo Spark desde DataWorks. Entorno de desarrollo: Solo se admite la identidad Executor. Entorno de producción: Se admiten las identidades Alibaba Cloud Account, Alibaba Cloud RAM Sub-account y Task Owner.
   Computing Resource Instance Name	El identificador del recurso de cómputo. Durante la ejecución, las tareas utilizan este nombre para seleccionar el recurso.

3. Haga clic en Confirm para completar la configuración del recurso de cómputo Serverless Spark.

Configurar parámetros globales de Spark

Puede configurar parámetros de Spark a nivel de espacio de trabajo para cada módulo y controlar si los parámetros globales tienen prioridad sobre la configuración específica del módulo. Después de la configuración, las tareas utilizan los parámetros de Spark especificados de forma predeterminada.

Configurar asignaciones de cuentas del clúster

Configure asignaciones entre las cuentas de Alibaba Cloud de los miembros de DataWorks y las cuentas de identidad en el clúster EMR. Esto permite a los miembros ejecutar tareas EMR Serverless Spark utilizando las identidades de clúster asignadas.

1. Vaya a la página de lista de recursos de cómputo y localice el recurso de cómputo Serverless Spark que ha asociado.

2. Haga clic en Account Mappings para ir al panel de configuración Account Mappings.

3. Haga clic en Edit Account Mapping para configurar la información de asignación de cuentas del clúster. Puede configurar los parámetros relacionados según el Mapping Type seleccionado.

   Mapping Type de cuenta	Ejecución de tareas	Configuración
   Asignación de cuenta del sistema	Ejecuta EMR Spark, EMR Spark SQL, EMR Kyuubi y notebook tasks developed in a personal development environment utilizando una cuenta de clúster que tiene el mismo nombre que la Default Access Identity especificada en la información básica del recurso de cómputo.	De forma predeterminada, se utiliza la asignación por nombre coincidente. Para usar diferentes asignaciones de cuentas, configure las cuentas manualmente.
   Asignación de cuenta OpenLDAP	La Default Access Identity especificada en la información básica del recurso de cómputo se utiliza para ejecutar tareas EMR Spark y EMR Spark SQL. La cuenta OpenLDAP asignada a la identidad de acceso predeterminada en la información básica del recurso de cómputo se utiliza para ejecutar EMR Kyuubi y notebook tasks developed in a personal development environment.	Si tiene configured and enabled LDAP authentication for Kyuubi Gateway, debe configurar asignaciones entre Account y cuentas OpenLDAP (LDAP Account y LDAP Password) para ejecutar tareas relacionadas. Importante Si una cuenta de Alibaba Cloud obligatoria no aparece en la lista de asignaciones, la tarea podría fallar.
   Asignación de cuenta Kerberos	La Default Access Identity especificada en la información básica del recurso de cómputo se utiliza para ejecutar tareas EMR Spark y EMR Spark SQL. La cuenta Kerberos asignada a la identidad de acceso predeterminada en la información básica del recurso de cómputo se utiliza para ejecutar tareas de nodo EMR Kyuubi.	Debe cargar el archivo krb5.conf del servicio Kerberos configurado para el clúster EMR Serverless Spark. Para la cuenta de Alibaba Cloud especificada como identidad de acceso predeterminada, configure el principal y el keytab necesarios para la autenticación Kerberos.

4. Haga clic en Confirm para completar la configuración de las asignaciones de cuentas del clúster.

Siguientes pasos

Una vez configurado el recurso de cómputo Serverless Spark, puede utilizarlo para desarrollar tareas de nodo en Data Studio. Para más información, consulte EMR Spark node, EMR Spark SQL node, EMR Spark Streaming node, EMR Kyuubi node, Serverless Spark Batch node, Serverless Spark SQL node y Serverless Kyuubi node.