DataWorks:Nodo Serverless Kyuubi

Notas de uso

• Limitaciones de recursos de cómputo: Solo son compatibles los bound EMR Serverless Spark compute resources. Asegúrese de que el resource group y el recurso de cómputo puedan comunicarse por la red.

  Restricciones del resource group: Solo los Serverless resource groups pueden ejecutar este tipo de tarea.

• (Opcional, para usuarios de RAM) Agregue al espacio de trabajo el usuario de Resource Access Management (RAM) que desarrolle la tarea y asígnele el rol Development o Workspace Administrator (este rol incluye permisos amplios y debe otorgarse con precaución). Para más información, consulte Add workspace members.

  Si usa una cuenta raíz, omita este paso.

Crear un nodo

Para consultar las instrucciones, consulte Create a node.

Desarrollar el nodo

Escriba el código de la tarea en el editor SQL. Defina variables con la sintaxis ${variable_name} y asígneles valores en la sección Scheduling Parameters de Scheduling Settings, ubicada a la derecha. El sistema reemplaza las variables por los valores asignados durante la ejecución. Para más información, consulte Scheduling parameter sources and expressions. Ejemplo:

SHOW TABLES; SELECT * FROM kyuubi040702 WHERE age >= '${a}'; -- Use with a scheduling parameter.

Una instrucción SQL no puede superar los 130 KB.

Depurar el nodo

1. En Run Configuration, configure parámetros como Compute Resource y Resource Group.

   Parámetro	Descripción
   Compute Resource	Seleccione un recurso de cómputo de EMR Serverless Spark vinculado. Primero debe bind an EMR Serverless Spark compute resource. Si no hay recursos de cómputo disponibles, seleccione Create Compute Resource en la lista desplegable para crear uno.
   Resource Group	Seleccione un resource group vinculado al espacio de trabajo.
   Script Parameters	Si define variables con la sintaxis ${parameter_name} en el contenido del nodo, especifique Parameter name y Parameter Value en la sección Script Parameters. El sistema reemplaza las variables por los valores reales durante la ejecución. Para más información, consulte Scheduling parameter sources and expressions.
   ServerlessSpark Node Parameters	Parámetros de propiedades integradas de Spark. Para más información, consulte parámetros de propiedades de Spark de código abierto y EMR Serverless Spark configuration parameters. Formato de configuración: "spark.eventLog.enabled": false . Nota Establezca parámetros globales de Spark en el espacio de trabajo para aplicarlos a todos los módulos de DataWorks. También configure si estos tienen prioridad sobre los parámetros del módulo. Para más información, consulte Configure global Spark parameters.

2. En la barra de herramientas de la parte superior del editor de nodos, haga clic en Run para ejecutar la tarea.

   Importante

   Antes de desplegar el nodo, sincronice Serverlessspark Node Parameters desde Run Configuration hacia la sección Serverlessspark Node Parameters de Scheduling Settings.

Siguientes pasos

• Configure node scheduling: Si necesita ejecutar un nodo de forma periódica, configure su Scheduling Policy en el panel Scheduling Settings ubicado a la derecha.

• Publish a node: Para ejecutar una tarea en el entorno de producción, haga clic en el ícono y publique el nodo. Un nodo se ejecuta según lo programado solo después de publicarse en el entorno de producción.

• Operación y mantenimiento de tareas: Una vez publicada la tarea, supervise sus ejecuciones periódicas en Operation Center. Para más información, consulte Get started with Operation Center.