DataWorks:Nodo ADB Spark SQL

Contexto

Los desarrolladores de datos pueden enviar sentencias Spark SQL directamente en la consola de AnalyticDB for MySQL para realizar análisis de datos. Después de agregar una instancia AnalyticDB for MySQL Serverless Spark a DataWorks como recurso de cómputo, puede usar el nodo ADB Spark SQL para ejecutar tareas de Spark SQL. Para obtener más información, consulte Introduction to Spark SQL development.

Requisitos previos

Requisitos previos para AnalyticDB for MySQL:

• Ha creado un clúster de AnalyticDB for MySQL de Basic Edition en la misma región que su espacio de trabajo de DataWorks. Para obtener más información, consulte Create a cluster.

• Ha creado un resource group interactivo con el tipo de motor establecido en Spark en su clúster de AnalyticDB for MySQL para ejecutar tareas de Spark SQL desde DataWorks. Para obtener más información, consulte Create an interactive resource group.

• Si necesita usar Object Storage Service (OSS) en un nodo ADB Spark SQL, asegúrese de que el bucket de OSS se encuentre en la misma región que su clúster de AnalyticDB for MySQL.

Requisitos previos para DataWorks:

• Cuenta con un espacio de trabajo que tiene habilitada la opción Use Data Studio (New Version) y un resource group vinculado al mismo. Para obtener más información, consulte Create a workspace.

• El resource group está desplegado en la misma virtual private cloud (VPC) que el clúster de AnalyticDB for MySQL, y ha agregado IP addresses of the resource group a la lista blanca del clúster de AnalyticDB for MySQL. Para obtener más información, consulte Configure a whitelist.

• Ha agregado la instancia del clúster de AnalyticDB for MySQL a DataWorks como recurso de cómputo AnalyticDB for Spark y ha verificado su conectividad mediante el resource group. Para obtener más información, consulte Bind a computing resource.

• Ha creado un nodo ADB Spark SQL. Para obtener más información, consulte Create a node for a scheduling workflow.

Paso 1: Desarrollar el nodo ADB Spark SQL

1. Cree una base de datos externa.

   En el editor de nodos, escriba su código SQL. El siguiente ejemplo muestra cómo crear una base de datos externa en un nodo ADB Spark SQL. Para crear una tabla interna, consulte Create an internal table by using Spark SQL.

   CREATE DATABASE IF NOT EXISTS `adb_spark_db` location 'oss://dw-1127/db_home';

2. Desarrolle el nodo ADB Spark SQL.

   En el editor SQL, escriba el código de la tarea. Puede definir variables con el formato ${variable_name} y asignarles valores en la sección Scheduling Parameters del panel Scheduling Settings ubicado a la derecha. Esto permite el paso dinámico de parámetros durante las ejecuciones programadas. Para obtener más información sobre los parámetros de programación, consulte Sources and expressions of scheduling parameters. El siguiente código proporciona un ejemplo.

   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb1' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_result_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb2' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   INSERT INTO adb_spark_db.tb_order_result_${var} SELECT * FROM adb_spark_db.tb_order_${var};

   Nota

   La variable ${var} del ejemplo puede establecerse como $[yyyymmdd]. Esto le permite procesar datos incrementales diarios por lotes.

Paso 2: Depurar el nodo ADB Spark SQL

1. Configure las propiedades de ejecución del nodo ADB Spark SQL.

   En el panel Run Configuration ubicado a la derecha, configure los parámetros Compute Resource, ADB Computing Resource Group, Resource Group y Compute CU. Para obtener más información, consulte la siguiente tabla.

   Tipo de parámetro	Parámetro	Descripción
   Compute Resource	Compute Resource	Seleccione el recurso de cómputo AnalyticDB for Spark que vinculó al espacio de trabajo.
   	ADB Computing Resource Group	Seleccione el resource group interactivo que creó en el clúster de AnalyticDB for MySQL. Para obtener más información, consulte Create and manage a resource group - [This document is offline and has been replaced by a new version. No review is required.]. Nota El tipo de motor del resource group interactivo debe ser Spark.
   Resource Group	Resource Group	Seleccione el resource group que pasó la prueba de conectividad cuando vinculó el recurso de cómputo AnalyticDB for Spark.
   	Compute CU	El nodo utiliza el número predeterminado de unidades de cómputo (CU). No es necesario modificar este valor.

2. Depure y ejecute el nodo ADB Spark SQL.

   Para ejecutar la tarea, haga clic en Save y luego en Run.

Paso 3: Programar el nodo ADB Spark SQL

1. Configure las propiedades de programación del nodo ADB Spark SQL.

   Para ejecutar el nodo periódicamente, vaya al panel Scheduling Settings ubicado a la derecha. En la sección Scheduling Policy, configure los siguientes parámetros según sus necesidades empresariales. Para obtener más información sobre otros parámetros, consulte Configure scheduling for a node.

   Parámetro	Descripción
   Compute Resource	Seleccione el recurso de cómputo AnalyticDB for Spark que vinculó al espacio de trabajo.
   ADB Computing Resource Group	Seleccione el resource group interactivo que creó en el clúster de AnalyticDB for MySQL. Para obtener más información, consulte Create and manage a resource group - [This document is offline and has been replaced by a new version. No review is required.]. Nota El tipo de motor del resource group interactivo debe ser Spark.
   Resource Group	Seleccione el resource group que pasó la prueba de conectividad cuando vinculó el recurso de cómputo AnalyticDB for Spark.
   Compute CU	El nodo utiliza el número predeterminado de unidades de cómputo (CU). No es necesario modificar este valor.

2. Despliegue el nodo ADB Spark SQL.

   Después de configurar el nodo, debe desplegarlo. Para obtener más información, consulte Deploy a node or workflow.

Siguientes pasos

Una vez desplegada la tarea, puede consultar el estado de ejecución de la tarea periódica en Operation Center. Para obtener más información, consulte Getting started with the Operation Center.