La fonctionnalité de gestion des ressources dans Data Studio vous permet de créer et de gérer des ressources et des fonctions pour MaxCompute, EMR (y compris EMR Jar, EMR File et Ray File), CDH et Flink (y compris Flink Jar, Flink File et Flink Python) afin de les utiliser lors du développement de données ou dans des requêtes SQL.
Présentation
La fonctionnalité de gestion des ressources dans Data Studio centralise la gestion de vos ressources et de vos fonctions. Vous pouvez télécharger des fichiers depuis OSS ou depuis un stockage local pour créer des ressources, puis enregistrer ces ressources en tant que fonctions à utiliser dans les nœuds de développement de données. Vous ne pouvez gérer que les ressources et les fonctions créées via le module de gestion des ressources.
Prérequis
Pour créer une ressource en téléchargeant un fichier depuis OSS :
Vous avez activé OSS, créé un bucket et stocké les fichiers à télécharger dans ce bucket OSS. Pour effectuer un téléchargement depuis OSS, vous devez sélectionner un fichier dans un bucket spécifié. Par conséquent, avant d'utiliser cette méthode pour créer une ressource, vous devez d'abord créer un bucket et y stocker les fichiers concernés. Pour plus d'informations, consultez la section Téléchargement simple.
Votre compte Alibaba Cloud doit disposer des autorisations nécessaires pour accéder au bucket de destination. Accordez les autorisations requises avant le téléchargement afin d'éviter toute erreur.
Limites
Taille de la ressource : la taille maximale d'une ressource téléchargeable est de 500 Mo.
-
Déploiement des ressources : si vous utilisez un espace de travail en mode standard, vous devez déployer une ressource dans l'environnement de production pour la rendre disponible dans le projet de production.
RemarqueLes informations sur la source de données diffèrent entre l'environnement de développement et l'environnement de production. Avant d'interroger des tables ou des ressources dans un environnement, vérifiez les informations sur la source de données pour l'environnement cible.
Gestion des ressources : DataWorks vous permet uniquement de consulter et de gérer les ressources téléchargées via DataWorks.
Ressources et fonctions prises en charge
Ressources
La fonctionnalité de gestion des ressources vous permet de télécharger et de créer des ressources via une interface visuelle. Vous pouvez utiliser ces ressources dans les tâches de développement de données ou les enregistrer en tant que UDF.
Source de données | Ressource | Méthodes de création | |
Local | OSS | ||
MaxCompute Python Code Python pour l'enregistrement d'une UDF Python. Le fichier doit avoir l'extension |
|
| |
MaxCompute Jar Package JAR Java compilé pour l'exécution d'un programme Java. Le fichier doit avoir l'extension | |||
MaxCompute Archive Seuls les fichiers compressés avec l'extension | |||
MaxCompute File Vous pouvez télécharger des fichiers de tout type en tant que ressources de type File. L'utilisation réelle dépend des capacités de chaque moteur. | |||
EMR Jar Package JAR Java compilé pour l'exécution d'un programme Java. Le fichier doit avoir l'extension |
|
| |
EMR File Vous pouvez télécharger des fichiers de tout type en tant que ressources de type File. L'utilisation réelle dépend des capacités de chaque moteur. | |||
Ray File Fichier de dépendance pour les nœuds Serverless Ray, tels que les jobs Python multi-fichiers, les fichiers de configuration ou les fichiers de données. Référencez-le dans un nœud à l'aide de | |||
CDH Jar Package JAR Java compilé pour l'exécution d'un programme Java. Le fichier doit avoir l'extension |
|
| |
CDH File Vous pouvez télécharger des fichiers de tout type en tant que ressources de type File. L'utilisation réelle dépend des capacités de chaque moteur. | |||
Flink Jar Package JAR Java compilé pour l'exécution d'un programme Java. Le fichier doit avoir l'extension |
|
| |
Flink File Vous pouvez télécharger des fichiers de tout type vers Flink. Ces fichiers peuvent servir de fichiers de dépendance supplémentaires ou de bibliothèques Python pour les nœuds Flink JAR et Flink Python. |
| ||
Flink Python Vous pouvez télécharger des fichiers Python avec l'extension |
| ||
Fonctions
Vous pouvez utiliser des ressources pour créer des fonctions MaxCompute, EMR, CDH et Flink. Ces fonctions sont utilisables dans Data Studio et les requêtes SQL.
Point d'entrée
Accédez à la page Workspaces de la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région souhaitée. Repérez l'espace de travail souhaité et choisissez dans la colonne Actions.
Dans le volet de navigation de gauche, cliquez sur
pour accéder à la page Resource Management.Sur la page Resource Management, cliquez sur l'icône
pour créer une ressource ou une fonction. Vous pouvez également cliquer d'abord sur Create Directory pour organiser le répertoire de gestion des ressources, puis faire un clic droit sur le répertoire souhaité et sélectionner Create pour créer une ressource ou une fonction.
Créer et gérer des ressources et des fonctions
Autres opérations
Cloner des ressources et des fonctions
Vous pouvez créer rapidement des ressources et des fonctions en clonant des éléments existants.
Dans le volet Resource Management de gauche, faites un clic droit sur la ressource ou la fonction que vous souhaitez cloner, puis sélectionnez Cloning dans le menu contextuel.
Dans la boîte de dialogue, modifiez le Name et le Path (ou conservez les valeurs par défaut), puis cliquez sur Confirm pour démarrer le clonage.
Une fois le clonage terminé, vous pouvez afficher la ressource ou la fonction clonée dans Resource Management et modifier les autres informations de paramètre.
Gestion des versions
Vous pouvez utiliser les fonctionnalités d'affichage et de comparaison de la gestion des versions pour analyser rapidement les différences entre les versions des ressources ou des fonctions et effectuer les ajustements nécessaires.
Dans le volet Resource Management de gauche, double-cliquez sur le nom de la ressource ou de la fonction dont vous souhaitez gérer les versions pour ouvrir la page d'édition correspondante.
-
À droite de la page d'édition de la ressource ou de la fonction, cliquez sur Version. Sur la page Version, consultez et gérez les informations relatives aux Developer Record et aux Publish Record.
-
View une version :
Dans l'onglet Developer Record ou Publish Record, repérez la version de la ressource ou de la fonction que vous souhaitez afficher.
Cliquez sur View dans la colonne Operation pour accéder à la page de détails et consulter les informations de code de la ressource ou de la fonction.
-
Compare des versions :
Dans l'onglet Developer Record ou Publish Record, vous pouvez comparer différentes versions d'une ressource ou d'une fonction. L'exemple suivant utilise les enregistrements de développement pour illustrer l'opération de comparaison.
Comparer au sein de l'environnement de développement ou de production : dans l'onglet Developer Record, sélectionnez deux versions et cliquez sur Select Comparison en haut pour comparer le contenu du code et les paramètres de planification de la ressource ou de la fonction entre les différentes versions.
-
Comparer entre les environnements de développement et de production ou de build :
Dans l'onglet Developer Record, localisez la version souhaitée de la ressource ou de la fonction.
Cliquez sur Compare dans la colonne Operation. Sur la page de détails, sélectionnez une version depuis Publish Record ou Build Records pour la comparaison.
-
Download une version :
Vous pouvez uniquement télécharger les versions de fichiers depuis les Developer Record des fichiers Resource déployés. Dans l'onglet Developer Record, repérez la version cible et cliquez sur Download dans la colonne Operation pour télécharger le fichier de ressource sur votre machine locale.
-