DolphinScheduler est une plateforme open source distribuée et extensible d'orchestration de workflows. Elle propose une interface visuelle puissante basée sur un graphe orienté acyclique (DAG) pour l'exécution et la gestion des workflows de traitement du big data. Utilisez DolphinScheduler pour planifier des tâches SQL XIHE destinées à AnalyticDB for MySQL afin d'améliorer l'efficacité du traitement des données.
Prérequis
DolphinScheduler est installé. Pour plus d'informations, consultez la documentation officielle de DolphinScheduler.
Le pilote MySQL (version 8.0.0 ou ultérieure) est configuré dans le répertoire d'installation de DolphinScheduler. Pour télécharger le pilote, consultez mysql-connector-java.
Vous avez ajouté l'adresse IP du serveur DolphinScheduler à la liste d'autorisation de votre cluster AnalyticDB for MySQL. Pour plus d'informations, consultez Whitelist.
Procédure
-
Créez une source de données.
Dans l'interface web de DolphinScheduler, cliquez sur Datasource dans la barre de navigation supérieure.
Cliquez sur Create DataSource et sélectionnez MYSQL comme type de source de données.
-
Dans la boîte de dialogue Add Data Source, configurez les paramètres suivants :
Parameter
Description
Data source
Sélectionnez MYSQL.
Data source name
Le nom de la source de données.
Hostname
Le nom d'hôte du cluster AnalyticDB for MySQL. Vous trouverez le nom d'hôte sur la page Cluster Information de la console.
Port
Le numéro de port du cluster AnalyticDB for MySQL. La valeur est fixée à 3306.
Username
Le compte de base de données pour le cluster AnalyticDB for MySQL.
Database name
Le nom de la base de données dans le cluster AnalyticDB for MySQL.
RemarqueLes autres paramètres sont facultatifs. Pour plus d'informations, consultez la documentation officielle de DolphinScheduler sur les sources de données MySQL.
Cliquez sur Test Connection. Une fois le test de connexion réussi, cliquez sur OK.
-
Créez un projet.
Dans la barre de navigation supérieure, cliquez sur Projects.
Cliquez sur Create Project.
Dans la boîte de dialogue Create Project, configurez les paramètres tels que Project Name et Username. Pour plus de détails, consultez Créer un projet.
-
Créez un workflow.
Cliquez sur le nom du projet créé pour ouvrir la page Workflow Definition.
Cliquez sur Create Workflow pour ouvrir la page workflow DAG edit.
Depuis la liste des tâches située à gauche, faites glisser le nœud SQL vers le canevas à droite.
-
Dans la boîte de dialogue Configure Current Node, configurez les paramètres suivants :
Parameter
Description
Data source type
Sélectionnez MySQL.
Data source instance
Sélectionnez la source de données créée à l'étape 1.
SQL type
Le type de tâche SQL, par exemple Query ou Non-query.
SQL statement
Saisissez l'instruction SQL à exécuter.
Cliquez sur OK.
Dans le coin supérieur droit de la page, cliquez sur Save. Dans la boîte de dialogue Basic Information qui s'affiche, configurez les paramètres tels que Workflow Name.
Cliquez sur OK.
-
Exécutez le workflow.
Dans la colonne Actions du workflow, cliquez sur l'icône
pour le publier.Dans la colonne Actions du workflow, cliquez sur l'icône
.Dans la boîte de dialogue Configure Parameters, configurez les paramètres requis.
Cliquez sur OK pour exécuter le workflow.
-
Consultez les détails du workflow.
Dans le volet de navigation de gauche, cliquez sur Task Instances.
Dans la colonne Operation, cliquez sur l'icône
pour afficher les résultats d'exécution et les journaux.