DataWorks:Nœud Doris

Contexte

Apache Doris est une base de données analytique en temps réel haute performance. Elle convient parfaitement à des cas d'utilisation tels que l'analyse de rapports, les requêtes ad hoc et l'accélération des requêtes fédérées sur les data lakes. Pour plus d'informations, consultez la page Présentation d'Apache Doris.

Prérequis

• Le flux métier a été créé.

  Data Studio effectue les opérations de développement spécifiques au moteur en fonction des flux métier. Avant de créer un nœud, créez un flux métier. Pour plus d'informations, consultez la rubrique Créer un flux métier.

• Une source de données Doris a été créée.

  Ajoutez votre base de données Doris en tant que source de données Doris dans DataWorks avant d'accéder à ses données. Pour plus d'informations sur la création d'une source de données, consultez la rubrique Gérer les sources de données. Pour plus d'informations sur l'utilisation d'une source de données Doris dans DataWorks, consultez la rubrique Source de données Doris.

  Remarque

  Les nœuds Doris prennent uniquement en charge les sources de données Doris créées à l'aide d'une chaîne de connexion JDBC.

• Une connexion réseau a été établie entre votre source de données et un groupe de ressources.

  Assurez-vous que la source de données souhaitée est connectée au groupe de ressources que vous souhaitez utiliser. Pour plus d'informations sur la configuration de la connectivité réseau, consultez la rubrique Établir une connexion réseau entre un groupe de ressources et une source de données.

• (Facultatif ; requis pour les utilisateurs Resource Access Management (RAM)) L'utilisateur RAM utilisé pour le développement des tâches a été ajouté à l'espace de travail cible et s'est vu attribuer le rôle Development ou Workspace Administrator (qui accorde de larges permissions — à attribuer avec prudence). Pour plus d'informations sur l'ajout de membres et l'attribution d'autorisations, consultez la rubrique Ajouter des membres à un espace de travail.

Limitations

Les nœuds Doris sont pris en charge dans les régions suivantes : Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur), Allemagne (Francfort), États-Unis (Silicon Valley) et États-Unis (Virginie).

Étape 1 : Créer un nœud Doris

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Cliquez avec le bouton droit sur le workflow cible et choisissez Create Node > Database > Doris.

3. Dans la boîte de dialogue Create Node , saisissez un Name pour le nœud et cliquez sur OK. Une fois le nœud créé, développez et configurez sa tâche.

Étape 2 : Développer la tâche Doris

(Facultatif) Sélectionner une source de données Doris

Si votre espace de travail comporte plusieurs sources de données Doris, sélectionnez celle appropriée sur la page de l'éditeur du nœud. Si une seule source de données Doris existe, elle est utilisée par défaut.

Développer le code SQL : Exemple simple

Dans l'éditeur de code du nœud Doris, rédigez le code SQL de votre tâche. Voici un exemple :

SELECT * FROM usertablename;

Développer le code SQL : Utiliser des paramètres de planification

DataWorks met à disposition l'option Scheduling Parameter pour transmettre des valeurs dynamiques à votre code lors de tâches périodiques. Définissez des variables dans le code de votre tâche en utilisant le format ${nom_variable}. Ensuite, dans le volet de navigation de droite de l'éditeur de nœud, accédez à l'onglet Properties et utilisez la section Scheduling Parameter pour attribuer une valeur à la variable. Pour plus d'informations sur les formats pris en charge et les détails de configuration, consultez les rubriques Formats pris en charge des paramètres de planification et Configurer et utiliser les paramètres de planification.

L'exemple de code suivant illustre cette procédure :

SELECT '${var}'; -- You can use scheduling parameters with this code.

Étape 3 : Configurer la planification des tâches

Pour exécuter périodiquement la tâche du nœud, cliquez sur Scheduling sur le côté droit de la page d'édition du nœud et configurez les paramètres de planification selon vos besoins. Pour plus d'informations, consultez la rubrique Vue d'ensemble des propriétés de planification des tâches.

Étape 4 : Tester le code de la tâche

Effectuez les opérations de test suivantes selon vos besoins pour vérifier que la tâche se comporte comme prévu.

1. (Facultatif) Sélectionnez un groupe de ressources et attribuez des valeurs de paramètre personnalisées.

   • Cliquez sur l'icône dans la barre d'outils. Dans la boîte de dialogue Parameter , sélectionnez le groupe de ressources de planification pour les tests.

   • Si le code de votre tâche utilise des variables de paramètres de planification, attribuez-leur des valeurs ici pour les tests. Pour plus d'informations sur la logique d'attribution des paramètres, consultez la rubrique Processus de débogage des tâches.

2. Enregistrez et exécutez le code de la tâche.

   Cliquez sur l'icône dans la barre d'outils pour enregistrer le code de votre tâche. Cliquez ensuite sur l'icône pour exécuter la tâche.

3. (Facultatif) Effectuez des tests de fumée.

   Pour exécuter des tests de fumée dans l'environnement de développement et vérifier que la tâche planifiée du nœud s'exécute comme prévu, effectuez des tests de fumée pendant ou après la soumission du nœud. Pour plus d'informations, consultez la rubrique Effectuer des tests de fumée.

Étape 5 : Soumettre et publier la tâche

Après avoir configuré la tâche du nœud, soumettez-la et publiez-la. Une fois publiée, le nœud s'exécute périodiquement en fonction de sa configuration de planification.

1. Cliquez sur l'icône dans la barre d'outils pour enregistrer le nœud.

2. Cliquez sur l'icône dans la barre d'outils pour soumettre la tâche du nœud.

   Dans la boîte de dialogue Submission , saisissez une Change Description. Indiquez si une revue de code est requise après la soumission.

   Remarque

   • Vous devez configurer l'attribut Rerun attribute et les Parent Nodes du nœud avant de pouvoir le soumettre.

   • La revue de code permet de garantir la qualité du code et d'éviter les erreurs causées par la publication directe de code non révisé en production. Si la revue de code est activée, le code du nœud soumis doit être approuvé par les réviseurs avant sa publication. Pour plus d'informations, consultez la rubrique Revue de code.

Si vous utilisez un espace de travail en mode standard, après avoir soumis la tâche avec succès, cliquez sur Publish dans le coin supérieur droit de la page d'édition du nœud pour déployer la tâche dans l'environnement de production. Pour plus d'informations, consultez la rubrique Publier une tâche.

Étapes suivantes

Opérations sur les tâches : Une fois qu'une tâche est validée et publiée, elle s'exécute périodiquement en fonction de la configuration du nœud. Cliquez sur O&M dans le coin supérieur droit de la page d'édition du nœud pour accéder au Operation Center et afficher l'état de planification et d'exécution de la tâche planifiée. Pour plus d'informations, consultez la rubrique Gestion des tâches planifiées.