Tous les produits
Search

Ce produit

    AnalyticDB:Planifier des tâches Spark avec DolphinScheduler

    Centre de documentation

    AnalyticDB:Planifier des tâches Spark avec DolphinScheduler

    Dernière mise à jour :Aug 21, 2026

    DolphinScheduler est un système open source de planification de workflows distribué et évolutif, doté d'une interface graphique basée sur un graphe orienté acyclique (DAG). Il vous aide à exécuter et gérer efficacement les processus Big Data. Utilisez l'interface web de DolphinScheduler pour créer, modifier et planifier facilement des tâches Spark pour AnalyticDB for MySQL.

    Prérequis

    Planifier des tâches SQL Spark

    Vous pouvez exécuter des tâches SQL Spark sur AnalyticDB for MySQL selon deux modes : batch et interactif. Les procédures sont détaillées dans les sections suivantes.

    Batch

    1. Installez l'outil en ligne de commande spark-submit et configurez ses paramètres.

      Remarque

      Configurez uniquement les paramètres requis : keyId, secretId, regionId, clusterId et rgName.

    2. Créez un projet.

      1. Connectez-vous à l'interface web de DolphinScheduler. Dans la barre de navigation supérieure, cliquez sur Project.

      2. Cliquez sur Create Project.

      3. Dans la boîte de dialogue Create Project, configurez les paramètres tels que Project Name et Owned Users.

    3. Créez un workflow.

      1. Cliquez sur le nom du projet pour accéder à la page Process Definition.

      2. Cliquez sur Create Workflow pour ouvrir la page workflow DAG edit.

      3. Depuis la liste des composants située dans le volet de gauche, faites glisser Shell vers le canevas situé à droite.

      4. Dans la boîte de dialogue Current node settings, configurez les paramètres suivants :

        Parameter

        Description

        Node Name

        Le nom du nœud de workflow.

        Script

        Le chemin d'installation de l'outil en ligne de commande spark-submit et le code de la tâche pour votre tâche SQL Spark. Exemple : /root/adb-spark-toolkit-submit/bin/spark-submit --class com.aliyun.adb.spark.sql.OfflineSqlTemplate local:///opt/spark/jars/offline-sql.jar "show databases" "select 100"

        Important

        Spécifiez le chemin d'installation complet de spark-submit dans le script. Sinon, la tâche de planification ne pourra pas trouver la commande.
        Remarque

        Pour plus d'informations sur les autres paramètres, consultez la documentation DolphinScheduler Task Parameters.

      5. Cliquez sur OK.

      6. Dans le coin supérieur droit de la page, cliquez sur Save. Dans la boîte de dialogue Basic Information, configurez les paramètres tels que Workflow Name, puis cliquez sur OK.

    4. Exécutez le workflow.

      1. Recherchez le workflow créé et cliquez sur l'icône image dans la colonne Operation pour publier le workflow.

      2. Cliquez sur l'icône image dans la colonne Operation.

      3. Dans la boîte de dialogue Please set the parameters before starting, configurez les paramètres.

      4. Cliquez sur Confirm pour exécuter le workflow.

    5. Consultez les détails du workflow.

      1. Dans le volet de navigation de gauche, sélectionnez Task > Task Instance.

      2. Recherchez les tâches du workflow et cliquez sur l'icône image dans la colonne Operation pour afficher les résultats d'exécution et les journaux du workflow.

    Interactive

    1. Obtenez l'URL de connexion du groupe de ressources interactif Spark.

      1. Connectez-vous à la console AnalyticDB for MySQL. Dans le coin supérieur gauche de la console, sélectionnez une région. Dans le volet de navigation de gauche, cliquez sur Clusters. Recherchez le cluster à gérer et cliquez sur son ID.

      2. Dans le volet de navigation de gauche, sélectionnez Cluster Management > Resource Management. Sur la page qui s'affiche, cliquez sur l'onglet Resource Groups.

      3. Recherchez le groupe de ressources interactif Spark que vous avez créé et cliquez sur Details dans la colonne Actions pour afficher l'URL de connexion interne ou publique du groupe de ressources. Cliquez sur l'icône image située entre parenthèses à côté du numéro de port correspondant pour copier l'URL de connexion.

        Vous devez cliquer sur Apply for Endpoint à côté de Public Endpoint pour demander manuellement un endpoint public dans les scénarios suivants :

        • L'outil client utilisé pour soumettre une tâche SQL Spark est déployé sur site.

        • L'outil client utilisé pour soumettre une tâche SQL Spark est déployé sur une instance Elastic Compute Service (ECS) qui réside dans un cloud privé virtuel (VPC) différent de celui de votre cluster AnalyticDB for MySQL.

    2. Créez une source de données.

      1. Connectez-vous à l'interface web de DolphinScheduler. Dans la barre de navigation supérieure, cliquez sur Datasource.

      2. Cliquez sur Add Data Source et sélectionnez Spark comme type de source de données.

      3. Dans la boîte de dialogue Add Data Source, configurez les paramètres suivants :

        Parameter

        Description

        Data Source

        Sélectionnez Spark.

        Datasource name

        Le nom de la source de données.

        IPHost Name

        Saisissez l'URL de connexion obtenue à l'étape 1. Dans l'URL, remplacez default

        par le nom réel de votre base de données et supprimez le suffixe resource_group=<resource_group_name>.

        Exemple : jdbc:hive2://amv-t4naxpqk****sparkwho.ads.aliyuncs.com:10000/adb_demo.

        Port

        Le numéro de port du groupe de ressources interactif Spark est fixé à 10000.

        Username

        Le compte de base de données pour AnalyticDB for MySQL.

        Database Name

        Le nom de la base de données du cluster AnalyticDB for MySQL.
        Remarque

        Les autres paramètres sont facultatifs. Pour plus d'informations, consultez la documentation MySQL Datasource.

      4. Cliquez sur Test Connection. Une fois le test réussi, cliquez sur OK.

    3. Créez un projet.

      1. Connectez-vous à l'interface web de DolphinScheduler. Dans la barre de navigation supérieure, cliquez sur Project.

      2. Cliquez sur Create Project.

      3. Dans la boîte de dialogue Create Project, configurez les paramètres tels que Project Name et Owned Users.

    4. Créez un workflow.

      1. Cliquez sur le nom du projet pour accéder à la page Process Definition.

      2. Cliquez sur Create Workflow pour ouvrir la page workflow DAG edit.

      3. Depuis la liste des composants située dans le volet de gauche, faites glisser SQL vers le canevas situé à droite.

      4. Dans la boîte de dialogue Current node settings, configurez les paramètres suivants :

        Parameter

        Description

        Data Source Type

        Sélectionnez Spark.

        Datasource instance

        Sélectionnez la source de données créée à l'étape 2.

        SQLType

        Le type de la tâche SQL, tel que Queries ou Non Query.

        SQL statement

        L'instruction SQL à exécuter.

      5. Cliquez sur OK.

      6. Dans le coin supérieur droit de la page, cliquez sur Save. Dans la boîte de dialogue Basic Information, configurez les paramètres tels que Workflow Name, puis cliquez sur OK.

    5. Exécutez le workflow.

      1. Recherchez le workflow créé et cliquez sur l'icône image dans la colonne Operation pour publier le workflow.

      2. Cliquez sur l'icône image dans la colonne Operation.

      3. Dans la boîte de dialogue Please set the parameters before starting, configurez les paramètres.

      4. Cliquez sur Confirm pour exécuter le workflow.

    6. Consultez les détails du workflow.

      1. Dans le volet de navigation de gauche, sélectionnez Task > Task Instance.

      2. Recherchez les tâches du workflow et cliquez sur l'icône image dans la colonne Operation pour afficher les résultats d'exécution et les journaux du workflow.

    Planifier des tâches JAR Spark

    1. Installez l'outil en ligne de commande spark-submit et configurez ses paramètres.

      Remarque

      Configurez uniquement les paramètres requis : keyId, secretId, regionId, clusterId et rgName. Si votre package JAR Spark est stocké localement, vous devez également configurer les paramètres liés à Object Storage Service (OSS), tels que ossUploadPath.

    2. Créez un projet.

      1. Connectez-vous à l'interface web de DolphinScheduler. Dans la barre de navigation supérieure, cliquez sur Project.

      2. Cliquez sur Create Project.

      3. Dans la boîte de dialogue Create Project, configurez les paramètres tels que Project Name et Owned Users.

    3. Créez un workflow.

      1. Cliquez sur le nom du projet pour accéder à la page Process Definition.

      2. Cliquez sur Create Workflow pour ouvrir la page workflow DAG edit.

      3. Depuis la liste des composants située dans le volet de gauche, faites glisser Shell vers le canevas situé à droite.

      4. Dans la boîte de dialogue Current node settings, configurez les paramètres suivants :

        Parameter

        Description

        Node Name

        Le nom du nœud de workflow.

        Script

        Le chemin d'installation de l'outil en ligne de commande spark-submit et le code de la tâche pour votre tâche Spark. Exemple :

        /root/adb-spark-toolkit-submit/bin/spark-submit --class org.apache.spark.examples.SparkPi --name SparkPi --conf spark.driver.resourceSpec=medium --conf spark.executor.instances=2 --conf spark.executor.resourceSpec=medium local:///tmp/spark-examples.jar 1000.

        Important

        Spécifiez le chemin d'installation complet de spark-submit dans le script. Sinon, la tâche de planification ne pourra pas trouver la commande.
        Remarque

        Pour plus d'informations sur les autres paramètres, consultez la documentation DolphinScheduler Task Parameters.

      5. Cliquez sur OK.

      6. Dans le coin supérieur droit de la page, cliquez sur Save. Dans la boîte de dialogue Basic Information, configurez les paramètres tels que Workflow Name, puis cliquez sur OK.

    4. Exécutez le workflow.

      1. Recherchez le workflow créé et cliquez sur l'icône image dans la colonne Operation pour publier le workflow.

      2. Cliquez sur l'icône image dans la colonne Operation.

      3. Dans la boîte de dialogue Please set the parameters before starting, configurez les paramètres.

      4. Cliquez sur Confirm pour exécuter le workflow.

    5. Consultez les détails du workflow.

      1. Dans le volet de navigation de gauche, sélectionnez Task > Task Instance.

      2. Recherchez les tâches du workflow et cliquez sur l'icône image dans la colonne Operation pour afficher les résultats d'exécution et les journaux du workflow.