DataWorks:Asociar un recurso de cómputo de Lindorm

Limitaciones

• Regiones: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur) e Indonesia (Jakarta).

• Permisos:

  • Debe utilizar un resource group Serverless de DataWorks para ejecutar tareas de Lindorm en DataWorks.

  • Solo los miembros del espacio de trabajo con el rol O&M o Workspace Administrator, o aquellos con el permiso AliyunDataWorksFullAccess, pueden crear recursos de cómputo. Para consultar los roles de los miembros o conceder permisos, véase Add workspace members and manage member roles and permissions.

Ir a la página Computing Resources

1. Vaya a la página DataWorks Workspaces. En la barra de navegación superior, seleccione la región de destino y localice el espacio de trabajo donde desea crear un recurso de cómputo. Haga clic en el nombre del espacio de trabajo o en Details dentro de la columna Operation para acceder a la página de detalles del espacio de trabajo.

2. En el panel de navegación izquierdo, haga clic en Computing Resources.

Asociar un recurso de cómputo de Lindorm

En la página Computing Resources, configure los parámetros necesarios para asociar el recurso de cómputo de Lindorm.

1. Seleccione el tipo de recurso de cómputo que desea asociar.

   1. Haga clic en Associate Computing Resources para abrir la página Associate Computing Resources.

   2. En la página Associate Computing Resources, seleccione Lindorm como tipo de recurso de cómputo para acceder a la página de configuración Bind Lindorm Computing Resource.

2. Configure el recurso de cómputo de Lindorm.

   En la página Associate Lindorm Computing Resource, configure los siguientes parámetros.

   Sección	Parámetro	Descripción
   Basic Information	Configuration Mode	Solo se admite ApsaraDB for RDS.
   	Instance	Seleccione la instancia de Lindorm que desea asociar con DataWorks. La lista desplegable muestra las instancias de Lindorm disponibles en la región actual.
   	Database Name	Seleccione la base de datos predeterminada para este recurso de cómputo. DataWorks se conectará a esta base de datos al ejecutar las tareas. El valor predeterminado es default.
   	Username/Password	Introduzca el nombre de usuario y la contraseña que utilizará DataWorks para autenticarse con este recurso de cómputo de Lindorm. Para obtener las credenciales, vaya a la consola de Lindorm, haga clic en Instance Name y busque las credenciales en la sección Database Connection del panel de navegación izquierdo.
   	Computing Resource Instance Name	Utilice este nombre para identificar y seleccionar el recurso al configurar las tareas.
   Connection Configuration	Connected state	En la sección de configuración de conexión, seleccione el resource group Serverless que utilizará DataWorks para ejecutar tareas de Lindorm y haga clic en Test Connectivity para comprobar que el resource group puede acceder a su instancia de Lindorm. Para más información, consulte Network connectivity solutions.

3. Haga clic en Confirm para completar la configuración del recurso de cómputo de Lindorm.

Contexto

En DataWorks, puede configurar los parámetros de Spark que utilizan los nodos de programación durante la ejecución mediante los siguientes métodos:

Método 1: Configure parámetros globales de Spark a nivel de espacio de trabajo para controlar la configuración de Spark que utiliza cada módulo de DataWorks en las tareas de Lindorm. También puede definir si los parámetros globales tienen prioridad sobre los específicos del módulo. Para más información, consulte Configure global Spark parameters.

Método 2: En Data Studio, establezca las propiedades de Spark para tareas de nodo individuales en la página de edición del nodo. Los demás módulos no admiten la configuración de propiedades de Spark por tarea.

Control de acceso

Solo los siguientes roles pueden configurar parámetros globales de Spark:

• Cuenta de Alibaba Cloud.

• Usuario de RAM o rol de RAM con el permiso AliyunDataWorksFullAccess.

• Usuario de RAM con el rol Workspace Administrator.

Consultar los parámetros globales de Spark****

1. Vaya a la página Computing Resources y localice su recurso de cómputo de Lindorm asociado.

2. Haga clic en Spark Parameters para abrir el panel de configuración de parámetros de Spark.

Configurar parámetros globales de Spark

Siga estos pasos para configurar los parámetros globales de Spark. Para obtener detalles sobre parámetros específicos, consulte Job configuration.

1. Vaya a la página Computing Resources y localice su recurso de cómputo de Lindorm asociado.

2. Haga clic en Spark Parameters para abrir el panel de configuración de parámetros de Spark.

3. Set global Spark parameters.

   Haga clic en Edit Spark Parameters en la esquina superior derecha del panel Spark Parameters para configurar los parámetros globales de Spark y las prioridades de cada módulo.

   Nota

   Esta es una configuración a nivel de espacio de trabajo. Asegúrese de encontrarse en el espacio de trabajo correcto antes de continuar.

   Parámetro	Pasos
   Spark Property	Configure las propiedades de Spark que utiliza cada módulo al ejecutar tareas de Lindorm. Para más información, consulte Job configuration. Haga clic en Add e introduzca el Spark Property Name y el Spark Property Value correspondiente. Nota Para habilitar el linaje de datos y la recopilación de salidas, configure las siguientes propiedades: Establezca Spark Property Name en spark.sql.queryExecutionListeners. Establezca Spark Property Value en com.aliyun.dataworks.meta.lineage.LineageListener. Para más información sobre la configuración de propiedades de Spark, consulte Job configuration.
   Global Settings Take Precedence	Si selecciona esta opción, las configuraciones globales tendrán prioridad sobre las configuraciones dentro de los módulos del producto. En este caso, las tareas se ejecutan según las propiedades de Spark configuradas globalmente. Configuración global: Las propiedades de Spark establecidas en la página Spark Parameters para el recurso de cómputo de Lindorm en Management Center > Computing Resources. Actualualmente, solo puede establecer parámetros globales de Spark para los módulos Data Studio y Operation Center. Configuración dentro de los módulos del producto: Data Studio: Para los nodos Lindorm Spark y Lindorm Spark SQL, puede establecer propiedades de Spark para una tarea de nodo individual en la pestaña Configuration Items de la página de edición del nodo. Otros módulos del producto: No se admite establecer propiedades de Spark por separado dentro de un módulo.

4. Haga clic en Confirm para guardar los parámetros globales de Spark .