DataWorks:Basic notebook development

Prérequis

• Data Studio est activé pour votre espace de travail.

• Vous disposez d'un groupe de ressources serverless.

• Vous possédez une instance d'environnement de développement personnel (requise pour les notebooks contenant des cellules Python).

  Si vous n'en avez pas encore créé : Créer une instance d'environnement de développement personnel .

Procédure :

1. Créez un nœud de notebook

   1. Accédez à Data Studio. Dans la section DataStudio du Project Directory, créez un nouveau nœud de notebook.

   2. Saisissez un nom pour le notebook, par exemple hello_notebook, puis envoyez-le.

2. Sélectionnez un environnement de développement personnel

   Dans la barre de navigation supérieure, cliquez sur Personal development environment et sélectionnez votre instance d'environnement de développement personnel dans la liste déroulante.

3. Écrivez une cellule Python pour définir un paramètre

   Définissez une variable de ville pour la requête SQL.

   # Define a variable for the subsequent SQL query
   city = 'Beijing'
   print(f"Defined city variable city = {city}")

4. Écrivez une cellule SQL pour interroger les données

   1. Sous la première cellule, ajoutez une nouvelle cellule SQL.

   2. Dans le coin inférieur droit de la cellule, changez le type SQL pour MaxCompute SQL.

   3. Saisissez le code SQL suivant. Il fait référence à la variable city de la cellule Python en utilisant la syntaxe ${city}.

      -- Query data using the variable defined in Python  
      SELECT '${city}' AS city;

5. Exécutez les cellules et consultez les résultats

   1. Cliquez sur le bouton Run All dans la barre d'outils du notebook.

   2. Observez l'exécution de chaque cellule :

      • La cellule Python affiche Defined city variable city = Beijing.

      • Un tableau contenant le résultat de la requête s'affiche sous la cellule SQL.

Vous avez créé et exécuté un notebook avec interaction Python-SQL.

Modes des notebooks

DataWorks Notebook fonctionne selon deux modes :

• Mode SQL et Markdown (par défaut) : prend uniquement en charge les cellules SQL et Markdown pour l'interrogation des données et la documentation. Seul un groupe de ressources serverless est requis ; aucune instance d'environnement de développement personnel n'est nécessaire. Le noyau SQL Kernel apparaît dans le coin supérieur droit.

• Mode complet (Python + SQL + Markdown) : prend en charge les cellules Python, SQL et Markdown pour le traitement des données, l'analyse et la visualisation. L'exécution du code Python nécessite une instance d'environnement de développement personnel. Une fois celle-ci sélectionnée, la version du noyau s'affiche dans le coin supérieur droit, comme illustré ici : (la version est donnée à titre indicatif).

Environnement de développement vs environnement de production

Ressources de calcul et noyaux

Deux concepts déterminent l'exécution du code : la ressource de calcul et le noyau.

• Ressource de calcul : moteur de calcul backend qui exécute et traite les tâches de données, définissant l'environnement d'exécution et la puissance de calcul.

  • Définition : instance de service de calcul indépendante et planifiable, telle qu'un projet MaxCompute ou un cluster EMR Serverless Spark.

  • Fonction : fournit la puissance de calcul effective pour les requêtes SQL, les jobs Spark et autres tâches.

  • Sélection : associez chaque tâche à une ressource de calcul spécifique.

• Noyau : analyse et exécute le code d'une cellule, déterminant le langage de programmation utilisé.

  • Noyau Python :

    • Fonction : exécute le code Python, prenant en charge une logique complexe pour le traitement des données, l'implémentation d'algorithmes et l'orchestration des tâches.

    • Modèle d'interaction : au sein du noyau Python, vous pouvez utiliser des Magic Commands (comme %sql) ou des SDK pour soumettre une tâche de calcul (telle qu'une requête SQL) à une ressource de calcul spécifiée. Vous pouvez ensuite récupérer les résultats pour une analyse approfondie.

  • Noyau SQL :

    • Fonction : interprète et soumet directement les requêtes écrites en SQL.

    • Modèle d'interaction : le noyau SQL transfère les instructions SQL directement à la ressource de calcul backend désignée (par exemple, une session EMR Spark SQL ou MaxCompute SQL) pour exécution.

  • Noyau Markdown :

    • Fonction : rend le texte enrichi formaté en Markdown. Il n'exécute aucune logique de calcul.

Résumé de la relation :

• Le noyau est l'interpréteur de langage frontal qui détermine « ce que vous écrivez » (Python ou SQL).

• La ressource de calcul est le moteur d'exécution backend qui détermine « où le code s'exécute » (sur MaxCompute ou Spark).

Types de répertoires et cas d'utilisation

L'emplacement où vous créez un notebook détermine son périmètre de collaboration, ses autorisations et ses options de déploiement.

Gestion des cellules

• Ajouter une cellule : survolez le bord supérieur ou inférieur d'une cellule et cliquez sur un bouton tel que + SQL, ou utilisez les boutons de la barre d'outils.

• Changer le type de cellule : cliquez sur l'identifiant de type (par exemple, Python) dans le coin inférieur droit et sélectionnez un nouveau type, comme SQL ou Markdown. Le code est conservé, mais peut nécessiter des ajustements.

• Déplacer une cellule : survolez la ligne verticale bleue située à gauche d'une cellule, puis faites-la glisser pour modifier son ordre.

• Exécuter des cellules :

  • Exécuter une seule cellule : cliquez sur l'icône Run située à gauche de la cellule.

  • Exécuter toutes les cellules : cliquez sur le bouton Run All dans la barre d'outils supérieure du notebook.

Passage de paramètres

Afficher la lignée des données (Bêta)

La fonctionnalité de lignée des données clarifie le flux de données en analysant statiquement le code Python (avec la prise en charge du framework MaxFrame) dans le notebook.

Programmation assistée par Copilot

DataWorks Copilot est un assistant de programmation IA intégré qui vous aide à générer et à expliquer le code.

Comment l'invoquer :

• Cliquez sur l'icône Copilot dans le coin supérieur gauche de la cellule sélectionnée.

• Faites un clic droit à l'intérieur d'une cellule SQL et sélectionnez Copilot.

• Utilisez le raccourci clavier Cmd+I (macOS) ou Ctrl+I (Windows).

1. Configurer les paramètres de planification (planification paramétrée)

Configurez la planification paramétrée afin que les paramètres du notebook changent dynamiquement à chaque exécution. Par exemple, vous pouvez traiter une partition différente chaque jour.

1. Marquer la cellule de paramètres : Dans la cellule Python contenant les définitions de paramètres, cliquez sur ... dans le coin supérieur droit et sélectionnez Mark Cell as Parameters. Une balise parameters marque la cellule comme point d'entrée des paramètres.

2. Configurer les paramètres de planification :

   1. Dans le panneau de droite du notebook, cliquez sur Scheduling Settings.

   2. Dans la zone Scheduling Parameters, attribuez une valeur aux variables définies dans votre code, telles que var.

      Par exemple, vous pouvez définir la valeur du paramètre sur $[yyyymmdd]. Lors de l'exécution planifiée, elle est remplacée dynamiquement par la date réelle.

Lorsqu'une tâche est automatiquement exécutée par le système de planification, la valeur réelle du paramètre var dans le code est dynamiquement remplacée par la valeur configurée dans les paramètres de planification.

2. Configurer l'environnement d'exécution et les ressources

1. Configurer une image : Dans la configuration de Scheduling, sélectionnez une image contenant toutes les dépendances requises par le notebook. Cela garantit une exécution réussie en production.

   Important

   Si vous avez installé des packages Python en utilisant pip install, vous devez créer une image DataWorks à partir de l'environnement de développement personnel pour garantir que la production dispose des mêmes dépendances. Sélectionnez cette image dans la configuration de scheduling.

2. Resource Group : Sélectionnez le resource group pour la tâche. Pour les resource groups serverless, ne configurez pas plus de 16CU afin d'éviter les échecs de démarrage. Maximum par tâche : 64CU.

3. Configurer un rôle associé : Associez un rôle RAM au nœud pour un contrôle fin des autorisations. Associer un rôle : Accéder en toute sécurité à d'autres ressources cloud.

3. Déployer le nœud

Seuls les nœuds situés dans Workspace Directories peuvent être déployés et planifiés.

• Pour les notebooks dans Workspace Directories : Après avoir terminé la configuration, cliquez sur le bouton Publish dans la barre d'outils supérieure.

• Pour les notebooks dans votre Personal Directory : Vous devez d'abord cliquer sur le bouton Save puis soumettre au projet avant de le déployer.

Après le déploiement, surveillez votre tâche de notebook sur la page Auto Triggered Nodes dans Operation Center.