Use DataWorks to periodically run StarRocks tasks - DataWorks

Les nœuds StarRocks de DataWorks vous permettent de développer et de planifier l'exécution périodique de tâches StarRocks, ainsi que de les intégrer à d'autres jobs. Cette rubrique décrit les principales étapes du développement de tâches à l'aide des nœuds StarRocks.

Contexte

StarRocks est une base de données MPP (Massively Parallel Processing) nouvelle génération, ultra-rapide et couvrant tous les scénarios, ainsi qu'un moteur d'analyse OLAP compatible avec le protocole MySQL. Elle offre des performances exceptionnelles et prend en charge de nombreux scénarios OLAP, tels que l'analyse multidimensionnelle, l'analytique sur lac de données, les requêtes à haute concurrence et l'analyse de données en temps réel.

Prérequis

Le flux métier a été créé.

Data Studio effectue les opérations de développement spécifiques au moteur en s'appuyant sur les flux métiers. Avant de créer un nœud, créez un flux métier. Pour plus d'informations, consultez la rubrique Créer un flux métier.
La source de données StarRocks a été créée.

Enregistrez votre base de données StarRocks en tant que source de données StarRocks dans DataWorks. Pour plus d'informations, consultez la rubrique Créer une source de données StarRocks.

Remarque
Les nœuds StarRocks prennent uniquement en charge les sources de données StarRocks créées à l'aide d'une chaîne de connexion JDBC (Java Database Connectivity).
(Facultatif ; requis pour les utilisateurs RAM (Resource Access Management)) Ajoutez l'utilisateur RAM utilisé pour le développement des tâches à l'espace de travail cible et attribuez-lui le rôle Development ou Workspace Administrator (qui accorde de larges permissions — à attribuer avec prudence). Pour plus d'informations sur l'ajout de membres et l'attribution de permissions, consultez la rubrique Ajouter des membres à un espace de travail.

Limites

Régions prises en charge : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Singapour, Malaisie (Kuala Lumpur), Allemagne (Francfort), États-Unis (Silicon Valley) et États-Unis (Virginie).

Étape 1 : Créer un nœud StarRocks

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.
Cliquez avec le bouton droit sur le flux métier cible et choisissez Create Node > Database > StarRocks.
Dans la boîte de dialogue Create Node , saisissez un Name pour le nœud et cliquez sur OK . Le nœud est créé. Vous pouvez désormais développer et configurer votre tâche dans le nœud.

Étape 2 : Développer une tâche StarRocks

(Facultatif) Sélectionner une source de données StarRocks

Si votre espace de travail comporte plusieurs sources de données StarRocks, sélectionnez la source de données cible dans la liste déroulante située en haut de la page d'édition du nœud StarRocks. Si une seule source de données StarRocks existe, elle est utilisée par défaut.

Remarque

Les nœuds StarRocks prennent uniquement en charge les sources de données StarRocks créées à l'aide d'une chaîne de connexion JDBC (Java Database Connectivity).

Développer le code SQL : exemple simple

Rédigez la tâche StarRocks dans l'éditeur de code du nœud StarRocks. L'exemple suivant interroge les informations relatives à toutes les tables de base de la base de données StarRocks :

SELECT * FROM information_schema.tables
WHERE table_type = 'BASE TABLE';

Développer le code SQL : changer de catalogue et de base de données

SET CATALOG catalog_name; -- Switch the catalog effective for the current session.
USE catalog_name.db_name; -- Specify the database effective for the current session.

Remarque

Si un nom de catalogue ou de base de données est un mot clé, placez-le entre accents graves (``) pour éviter les erreurs d'analyse.

Développer le code SQL : utiliser des paramètres de planification

Les Scheduling Parameter de DataWorks permettent une saisie dynamique dans les planifications récurrentes. Dans la tâche de votre nœud, définissez des variables dans votre code en utilisant le format ${nom_variable}. Ensuite, dans la section Scheduling > Scheduling Parameter du volet de navigation situé à droite, attribuez des valeurs à ces variables. Pour connaître les formats pris en charge et les détails de configuration, consultez les rubriques Formats de paramètres de planification pris en charge et Configurer et utiliser des paramètres de planification.

Dans l'exemple suivant, le paramètre de planification a est défini sur $[yyyymmdd] (la date du jour). Le code interroge les tables créées le jour même :

SELECT * FROM information_schema.tables
WHERE CREAT_TIME = '${a}';

Étape 3 : Configurer la planification des tâches

Pour exécuter périodiquement la tâche du nœud, cliquez sur Scheduling à droite de la page d'édition du nœud et configurez les paramètres de planification selon vos besoins. Pour plus d'informations, consultez la rubrique Présentation des propriétés de planification des tâches.

Remarque

Vous devez configurer l'Rerun attribute du nœud et les Parent Nodes avant de pouvoir soumettre le nœud.

Étape 4 : Tester le code de la tâche

Effectuez les opérations de test suivantes selon vos besoins afin de vérifier que la tâche se comporte comme prévu.

(Facultatif) Sélectionnez un groupe de ressources et attribuez des valeurs de paramètres personnalisées.
- Cliquez sur l'icône dans la barre d'outils. Dans la boîte de dialogue Parameter , sélectionnez le groupe de ressources de planification pour les tests.
- Si le code de votre tâche utilise des variables de paramètres de planification, attribuez-leur des valeurs ici à des fins de test. Pour plus d'informations sur la logique d'attribution des paramètres, consultez la rubrique Processus de débogage des tâches.
Enregistrez et exécutez le code de la tâche.

Cliquez sur l'icône dans la barre d'outils pour enregistrer le code de votre tâche. Cliquez ensuite sur l'icône pour exécuter la tâche.
(Facultatif) Effectuez des tests de fumée.

Pour effectuer des tests de fumée dans l'environnement de développement et vérifier que la tâche planifiée du nœud s'exécute comme prévu, réalisez des tests de fumée pendant ou après la soumission du nœud. Pour plus d'informations, consultez la rubrique Effectuer des tests de fumée.

Étape 5 : Soumettre et publier la tâche

Après avoir configuré la tâche du nœud, soumettez-la et publiez-la. Une fois publiée, le nœud s'exécute périodiquement en fonction de sa configuration de planification.

Cliquez sur l'icône dans la barre d'outils pour enregistrer le nœud.
Cliquez sur l'icône dans la barre d'outils pour soumettre la tâche du nœud.

Dans la boîte de dialogue Submission , saisissez une Change Description . Indiquez éventuellement si une révision du code est requise après la soumission.
Remarque
- Vous devez configurer l'Rerun attribute du nœud et les Parent Nodes avant de pouvoir soumettre le nœud.
- La révision du code permet de garantir la qualité du code et d'éviter les erreurs causées par la publication directe de code non révisé en production. Si la révision du code est activée, le code du nœud soumis doit être approuvé par les réviseurs avant sa publication. Pour plus d'informations, consultez la rubrique Révision du code.

Si vous utilisez un espace de travail en mode standard, après avoir soumis la tâche avec succès, cliquez sur Publish dans le coin supérieur droit de la page d'édition du nœud pour déployer la tâche dans l'environnement de production. Pour plus d'informations, consultez la rubrique Publier une tâche.

Étapes suivantes

Une fois la tâche soumise et publiée, elle s'exécute périodiquement en fonction de sa configuration. Cliquez sur O&M Personnel dans le coin supérieur droit de l'interface d'édition du nœud pour accéder au centre d'opérations et surveiller l'état de planification des tâches récurrentes. Pour plus d'informations, consultez la rubrique Gérer les tâches récurrentes.