DataWorks:Nœud ADB Spark SQL

Informations générales

Les développeurs de données peuvent soumettre directement des instructions Spark SQL dans la console AnalyticDB for MySQL pour analyser les données. Après avoir ajouté une instance AnalyticDB for MySQL Serverless Spark à DataWorks en tant que ressource de calcul, utilisez le nœud ADB Spark SQL pour exécuter des tâches Spark SQL. Pour plus d'informations, consultez la section Présentation du développement Spark SQL.

Prérequis

Prérequis pour AnalyticDB for MySQL :

• Créez un cluster AnalyticDB for MySQL de type Basic Edition dans la même région que votre espace de travail DataWorks. Pour plus d'informations, consultez la section Créer un cluster.

• Créez un groupe de ressources interactif avec le type de moteur défini sur Spark dans votre cluster AnalyticDB for MySQL afin d'exécuter des tâches Spark SQL depuis DataWorks. Pour plus d'informations, consultez la section Créer un groupe de ressources interactif.

• Si vous devez utiliser Object Storage Service (OSS) dans un nœud ADB Spark SQL, assurez-vous que le bucket OSS se trouve dans la même région que votre cluster AnalyticDB for MySQL.

Prérequis pour DataWorks :

• Disposez d'un espace de travail avec l'option Use Data Studio (New Version) activée et auquel un groupe de ressources est associé. Pour plus d'informations, consultez la section Créer un espace de travail.

• Le groupe de ressources doit être déployé dans le même Virtual Private Cloud (VPC) que le cluster AnalyticDB for MySQL. Ajoutez les adresses IP du groupe de ressources à la liste d'autorisation du cluster AnalyticDB for MySQL. Pour plus d'informations, consultez la section Configurer une liste d'autorisation.

• Ajoutez l'instance de cluster AnalyticDB for MySQL à DataWorks en tant que ressource de calcul AnalyticDB for Spark et vérifiez sa connectivité à l'aide du groupe de ressources. Pour plus d'informations, consultez la section Associer une ressource de calcul.

• Créez un nœud ADB Spark SQL. Pour plus d'informations, consultez la section Créer un nœud pour un flux de travail de planification.

Étape 1 : Développer le nœud ADB Spark SQL

1. Créez une base de données externe.

   Dans l'éditeur de nœud, saisissez votre code SQL. L'exemple suivant illustre la création d'une base de données externe dans un nœud ADB Spark SQL. Pour créer une table interne, consultez la section Créer une table interne à l'aide de Spark SQL.

   CREATE DATABASE IF NOT EXISTS `adb_spark_db` location 'oss://dw-1127/db_home';

2. Développez le nœud ADB Spark SQL.

   Dans l'éditeur SQL, saisissez le code de la tâche. Définissez des variables au format ${nom_variable} et attribuez-leur des valeurs dans la section Scheduling Parameters du volet Scheduling Settings situé à droite. Cela permet de transmettre dynamiquement les paramètres lors des exécutions planifiées. Pour plus d'informations sur les paramètres de planification, consultez la section Sources et expressions des paramètres de planification. Voici un exemple de code.

   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb1' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_result_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb2' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   INSERT INTO adb_spark_db.tb_order_result_${var} SELECT * FROM adb_spark_db.tb_order_${var};

   Remarque

   La variable ${var} de l'exemple peut être définie sur $[yyyymmdd]. Vous pouvez ainsi traiter les données incrémentielles quotidiennes par lots.

Étape 2 : Déboguer le nœud ADB Spark SQL

1. Configurez les propriétés d'exécution du nœud ADB Spark SQL.

   Dans le volet Run Configuration situé à droite, configurez les paramètres Compute Resource, ADB Computing Resource Group, Resource Group et Compute CU. Pour plus d'informations, consultez le tableau ci-dessous.

   Type de paramètre	Paramètre	Description
   Compute Resource	Compute Resource	Sélectionnez la ressource de calcul AnalyticDB for Spark associée à l'espace de travail.
   	ADB Computing Resource Group	Sélectionnez le groupe de ressources interactif créé dans le cluster AnalyticDB for MySQL. Pour plus d'informations, consultez Create and manage a resource group - [This document is offline and has been replaced by a new version. No review is required.]. Remarque Le type de moteur du groupe de ressources interactif doit être Spark.
   Resource Group	Resource Group	Sélectionnez le groupe de ressources ayant réussi le test de connectivité lors de l'association de la ressource de calcul AnalyticDB for Spark.
   	Compute CU	Le nœud utilise le nombre par défaut d'unités de calcul (CU). Inutile de modifier cette valeur.

2. Déboguez et exécutez le nœud ADB Spark SQL.

   Pour exécuter la tâche, cliquez sur Save puis sur Run.

Étape 3 : Planifier le nœud ADB Spark SQL

1. Configurez les propriétés de planification du nœud ADB Spark SQL.

   Pour exécuter le nœud périodiquement, accédez au volet Scheduling Settings situé à droite. Dans la section Scheduling Policy , configurez les paramètres suivants selon vos besoins métier. Pour plus d'informations sur les autres paramètres, consultez la section Configurer la planification d'un nœud.

   Paramètre	Description
   Compute Resource	Sélectionnez la ressource de calcul AnalyticDB for Spark associée à l'espace de travail.
   ADB Computing Resource Group	Sélectionnez le groupe de ressources interactif créé dans le cluster AnalyticDB for MySQL. Pour plus d'informations, consultez Create and manage a resource group - [This document is offline and has been replaced by a new version. No review is required.]. Remarque Le type de moteur du groupe de ressources interactif doit être Spark.
   Resource Group	Sélectionnez le groupe de ressources ayant réussi le test de connectivité lors de l'association de la ressource de calcul AnalyticDB for Spark.
   Compute CU	Le nœud utilise le nombre par défaut d'unités de calcul (CU). Inutile de modifier cette valeur.

2. Déployez le nœud ADB Spark SQL.

   Après avoir configuré le nœud, déployez-le. Pour plus d'informations, consultez la section Déployer un nœud ou un flux de travail.

Étapes suivantes

Une fois la tâche déployée, consultez l'état d'exécution de la tâche périodique dans Operation Center. Pour plus d'informations, consultez la section Premiers pas avec Operation Center.