Dans DataWorks, les nœuds MySQL permettent de développer, planifier périodiquement et intégrer des tâches MySQL avec d'autres jobs. Cette rubrique décrit le processus de développement.
Prérequis
-
Le flux métier est créé.
Data Studio effectue les opérations de développement spécifiques au moteur en se basant sur les flux métiers. Avant de créer un nœud, créez un flux métier. Pour plus d'informations, consultez la rubrique Créer un flux métier.
-
Une source de données MySQL est ajoutée.
Avant d'accéder aux données de votre base de données MySQL, ajoutez cette base en tant que source de données MySQL dans DataWorks. Pour plus d'informations, consultez la rubrique Source de données MySQL.
RemarqueLes nœuds MySQL prennent uniquement en charge les sources de données MySQL ajoutées en mode chaîne de connexion.
(Facultatif ; requis pour les utilisateurs RAM) L'utilisateur RAM utilisé pour le développement des tâches est ajouté à l'espace de travail cible et se voit attribuer le rôle Development ou Workspace Administrator (ce dernier accorde des autorisations étendues ; attribuez-le avec prudence). Pour plus d'informations sur l'ajout de membres et l'attribution d'autorisations, consultez la rubrique Ajouter des membres à un espace de travail.
Limites
Les nœuds MySQL permettent le développement de tâches uniquement pour les sources de données MySQL ajoutées en mode chaîne de connexion dans l'environnement de production. Pour vérifier le mode d'une source de données, accédez à la page Data source management comme indiqué dans la rubrique Configurer une source de données MySQL, recherchez la source de données, puis cliquez sur Modify dans la colonne Operation.
Les nœuds MySQL ne prennent pas en charge MySQL 8.0 ni les versions ultérieures.
Régions prises en charge : Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Singapour, Malaisie (Kuala Lumpur), Indonésie (Jakarta) et États-Unis (Virginie).
Connectivité réseau
-
Connectivité réseau
Votre base de données MySQL doit disposer d'une connectivité réseau avec le groupe de ressources serverless (recommandé) ou le groupe de ressources exclusif pour la planification. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.
-
Configurer une liste blanche d'adresses IP
Si votre base de données MySQL est protégée par une liste blanche d'adresses IP, ajoutez le bloc CIDR du VPC et les adresses IP publiques du groupe de ressources serverless (recommandé) ou du groupe de ressources exclusif pour la planification à la liste blanche d'adresses IP de la base de données. Pour plus d'informations, consultez la rubrique Configurer une liste blanche d'adresses IP.
-
Tester la connectivité réseau
Vous pouvez tester la connectivité réseau lors de l'ajout d'une source de données DataWorks. Pour plus d'informations, consultez la section Tester la connectivité réseau.
Développement de tâches MySQL
-
Accédez à la page Data Studio.
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Integration.
-
Créez un Workflow.
Si vous disposez déjà d'un Workflow, ignorez cette étape.
Placez le curseur sur l'icône
et sélectionnez Create Workflow.Dans la boîte de dialogue Create Workflow, saisissez un Workflow Name.
Cliquez sur Create.
-
Créez un nœud MySQL.
-
Placez le curseur sur l'icône
et choisissez .Vous pouvez également rechercher votre flux de travail, cliquer avec le bouton droit sur son nom et choisir .
-
Dans la boîte de dialogue Create Node, saisissez un Name et sélectionnez un Node Type ainsi qu'un Path.
RemarqueLe nom du nœud ne peut contenir que des lettres majuscules et minuscules, des caractères chinois, des chiffres, des traits de soulignement (_) et des points (.). La longueur du nom ne doit pas dépasser 128 caractères.
Cliquez sur OK pour ouvrir l'éditeur de nœud MySQL.
-
-
Utilisez le nœud MySQL pour développer une tâche MySQL.
-
Sélectionnez une source de données.
Dans la liste déroulante Select DataSource, sélectionnez la source de données cible. Si la source de données requise ne figure pas dans la liste, cliquez sur New data source à droite. Créez ensuite une source de données sur la page Data source management. Pour plus d'informations, consultez la rubrique Configurer une source de données MySQL.
RemarqueSi votre espace de travail est en mode standard, la liste déroulante affiche uniquement les sources de données MySQL configurées pour les environnements de développement et de production.
Les nœuds MySQL permettent le développement de tâches uniquement pour les sources de données MySQL ajoutées en mode chaîne de connexion dans l'environnement de production. Pour vérifier le mode d'une source de données, accédez à la page Data source management comme indiqué dans la rubrique Configurer une source de données MySQL, recherchez la source de données, puis cliquez sur Modify dans la colonne Operation.
-
Sélectionnez un groupe de ressources.
Dans la barre d'outils, cliquez sur l'icône
. Dans la boîte de dialogue Parameter, sélectionnez un groupe de ressources pour la planification.RemarquePour accéder à une source de données via Internet public ou un VPC, utilisez le groupe de ressources pour la planification qui a réussi le test de connectivité avec la source de données. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.
Pour modifier le groupe de ressources pour une exécution spécifique, cliquez sur Run with Parameters
et sélectionnez un autre groupe de ressources pour la planification.
-
Créez une tâche à l'aide d'instructions SQL.
Rédigez vos instructions SQL dans l'éditeur SQL.
Par exemple, l'instruction suivante interroge les données de la table xc_emp.
select * from xc_emp;Après l'exécution de la requête, les résultats s'affichent sous forme de tableau dans l'onglet Results. Le tableau comprend les colonnes suivantes : empno, aname, job, mgr, hiredate, sal, comm et deptno.
Si l'exécution de la tâche échoue, affichez le message d'erreur et résolvez le problème en consultant la rubrique FAQ : Échec de la tâche avec l'erreur « JDBC driver not supported ».
-
Enregistrez et exécutez les instructions SQL.
Dans la barre d'outils, cliquez sur l'icône
pour enregistrer les instructions SQL, puis cliquez sur l'icône
pour exécuter la tâche.
-
-
Configurez les propriétés de planification de la tâche.
Pour exécuter le nœud périodiquement, cliquez sur Scheduling dans le volet de droite et configurez ses propriétés de planification :
Configurez les propriétés de planification de base de la tâche. Pour plus d'informations, consultez la rubrique Configurer les propriétés de base.
-
Configurez le cycle de planification, les propriétés de réexécution et les dépendances. Pour plus d'informations, consultez les rubriques Configurer les propriétés temporelles et Configurer les dépendances de planification intra-cycle.
RemarqueVous devez définir l'Rerun attribute et les Parent Nodes pour le nœud avant de pouvoir le valider.
Configurez les propriétés des ressources. Pour plus d'informations, consultez la rubrique Configurer les propriétés des ressources. Pour accéder à une source de données MySQL via Internet public ou un VPC, sélectionnez un groupe de ressources pour la planification disposant d'une connectivité réseau avec la source de données MySQL. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.
-
Validez et déployez la tâche.
Dans la barre d'outils, cliquez sur l'icône
pour enregistrer le nœud.Dans la barre d'outils, cliquez sur l'icône
pour valider la tâche.Dans la boîte de dialogue Commit Node, saisissez une Change Description.
Cliquez sur Determine.
Dans un espace de travail en mode standard, vous devez déployer la tâche dans l'environnement de production après l'avoir validée. Dans la barre de menu supérieure, cliquez sur Deploy. Pour plus d'informations, consultez la rubrique Déployer des tâches.
-
Consultez les tâches planifiées.
Dans le coin supérieur droit de l'éditeur, cliquez sur O&M Personnel pour ouvrir le centre d'opérations de l'environnement de production.
Consultez les tâches planifiées en cours d'exécution. Pour plus d'informations, consultez la rubrique Gérer les tâches planifiées.
Pour afficher plus de détails sur les tâches planifiées, cliquez sur Operation Center dans la barre de menu supérieure. Pour plus d'informations, consultez la rubrique Présentation du centre d'opérations.
FAQ : Échec de la tâche avec l'erreur "JDBC driver not supported"
-
Description du problème
La tâche échoue avec le message d'erreur suivant :
sql execute failed! JDBC driver not supported. -
Cause
Cette erreur se produit si vous sélectionnez une source de données MySQL qui n'a pas été créée en mode chaîne de connexion.
-
Solution
Sélectionnez une source de données créée en mode chaîne de connexion. Pour vérifier le mode d'une source de données, accédez à la page Data source management comme indiqué dans la rubrique Configurer une source de données MySQL, recherchez la source de données, puis cliquez sur Modify dans la colonne Operation.
FAQ : Le test de connectivité réussit, mais la tâche échoue
Cause possible 1 : Vous avez sélectionné le mauvais groupe de ressources pour le test de connectivité. Assurez-vous d'avoir utilisé le groupe de ressources pour la planification lors du test. Pour plus d'informations, consultez la section Étape 4 : Tester la connectivité réseau.
Cause possible 2 : Vous avez utilisé un groupe de ressources pour la planification lors du test de connectivité, mais en avez sélectionné un autre pour exécuter la tâche. Pour résoudre ce problème, cliquez sur Run with Parameters
afin de sélectionner le groupe de ressources pour la planification approprié.