O&M Assistant vous permet d'installer des packages tiers sur un groupe de ressources exclusif pour la planification afin que les tâches dépendantes s'exécutent correctement. DataWorks propose une installation en un clic pour divers packages intégrés. Si les packages intégrés ne répondent pas à vos besoins, installez d'autres packages à l'aide de commandes shell.
Applicabilité
Limites du groupe de ressources : Cette fonctionnalité s'applique uniquement aux groupes de ressources exclusifs pour la planification. Les autres types de groupes de ressources, tels que les groupes de ressources exclusifs pour l'intégration de données et les groupes de ressources serverless, ne prennent pas en charge cette fonctionnalité.
-
Autorisations : Vous devez disposer de la stratégie RAM AliyunDataWorksFullAccess ou ModifyResourceGroup.
Pour plus d'informations sur l'octroi des autorisations, consultez la rubrique Contrôle d'accès aux produits et à la console : stratégies RAM .
Considérations
Un package tiers installé sur un groupe de ressources exclusif pour la planification s'applique à toutes les tâches de ce groupe. Des conflits de version ou des problèmes de compatibilité peuvent affecter l'ensemble des tâches. Sélectionnez et testez soigneusement les packages avant de les installer.
Quotas et limites
Gestion des commandes : Impossible de modifier les commandes d'installation créées. Vous pouvez uniquement créer de nouvelles commandes ou supprimer celles existantes.
-
Types de tâches applicables : Les packages tiers Python installés via cette méthode s'appliquent uniquement aux nœuds de tâche Python, tels que les nœuds PyODPS 2 et PyODPS 3, qui s'exécutent sur ce groupe de ressources.
Pour utiliser un package tiers dans une fonction définie par l'utilisateur (UDF) Python MaxCompute, consultez la rubrique Exemple UDF : Utiliser des packages tiers dans une fonction définie par l'utilisateur (UDF) Python .
Prise en charge des commandes : La méthode de saisie manuelle ne prend pas en charge la commande
pip.
Accéder à O&M Assistant
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Resource Group dans le volet de navigation de gauche pour ouvrir la liste des groupes de ressources.
Sous l'onglet Exclusive Resource Group, localisez le groupe de ressources utilisé pour Data Scheduling, cliquez sur l'icône
située à côté de Resource Group, puis sélectionnez O&M Assistant pour accéder à la page correspondante.
Installer un package tiers
Créer une commande d'installation
-
Sur la page O&M Assistant, cliquez sur Create Command et sélectionnez une méthode d'installation.
Installation rapide
Installez les packages tiers courants intégrés à DataWorks.
Le tableau suivant décrit les paramètres.
Paramètre
Description
Command Name
Nom personnalisé de la commande.
Command Type
Sélectionnez Quick Installation.
DataWorks génère automatiquement une commande d'installation shell en fonction du package sélectionné.
Package tiers intégré
Sélectionnez le package et la version à installer.
DataWorks prend en charge une variété de packages courants Python 2, Python 3 et Yum. Exemples :
-
Aliyun-python-sdk-core : Bibliothèque principale du SDK Python Alibaba Cloud. Fournit les fonctionnalités de base pour interagir avec les services Alibaba Cloud, telles que les appels API et l'authentification.
-
NumPy : Bibliothèque fondamentale pour le calcul scientifique et l'analyse de données. Fournit des tableaux multidimensionnels haute performance et des fonctionnalités de calcul numérique.
-
Pandas : Structures de données performantes et faciles à utiliser, ainsi qu'outils d'analyse de données pour le traitement et l'analyse de données structurées.
Pour obtenir la liste complète, consultez l'interface utilisateur.
Generated Shell Script
DataWorks génère automatiquement la commande d'installation en fonction de votre sélection.
Par exemple, si vous sélectionnez aliyun-python-sdk-core, le système génère la commande suivante :
pip install aliyun-python-sdk-coreTimeout
Durée maximale d'exécution de la commande, en secondes. La commande est arrêtée si ce délai est dépassé.
Saisie manuelle
Si les packages intégrés ne répondent pas à vos besoins, installez des packages tiers à l'aide de commandes.
Paramètre
Description
Command Name
Nom personnalisé de la commande.
Command Type
Sélectionnez Manually enter.
Command Content
Saisissez la commande à exécuter. Exemple :
yum install -y git.Important-
La méthode de saisie manuelle ne prend pas en charge l'utilisation de commandes pip pour installer des packages tiers.
-
La réussite des commandes saisies manuellement n'est pas garantie. Validez le script au préalable.
-
Une fois un package tiers installé, vous devez utiliser un chemin absolu pour référencer le package dans un nœud Data Studio.
Installation Directories
Chemins d'accès aux répertoires auxquels la commande peut accéder. Séparez plusieurs chemins par des points-virgules (;). DataWorks ajoute les répertoires spécifiés à une liste d'autorisation pour garantir leur accessibilité.
-
Vous pouvez installer des packages dans un répertoire /home/ ou dans un répertoire autre que /home/. Si vous installez des packages dans un répertoire /home/, ils doivent être stockés dans le chemin /home/admin/usertools/tools/.
-
Si vous ne spécifiez pas de répertoire, le chemin par défaut /home/admin/usertools/tools/ est utilisé.
Timeout
Durée maximale d'exécution de la commande, en secondes. La commande est arrêtée si ce délai est dépassé.
-
Cliquez sur Confirm pour terminer la configuration de la commande.
Exécuter la commande d'installation
Sur la page O&M Assistant, localisez la commande et cliquez sur Run command dans la colonne Operation. Le système génère un enregistrement d'exécution pour la commande.
Afficher le résultat de l'exécution
Dans l'enregistrement d'exécution de la commande, affichez les informations de base telles que Run Status et Command Content. Cliquez sur View Result dans la colonne Operation pour afficher les journaux et résoudre les échecs. Une fois le package installé, vous pouvez l'utiliser dans les tâches de planification sur le groupe de ressources.
Afficher la configuration de l'environnement
Sur la page O&M Assistant, cliquez sur View Detailed Environment Configuration dans le coin supérieur gauche pour afficher la configuration de l'environnement du groupe de ressources, y compris les packages tiers installés, leurs versions et leurs statuts.
Utiliser le package tiers dans une tâche
Data Studio (nouvelle version)
Accéder à Data Studio : Accédez à la page des espaces de travail DataWorks. Dans la barre de navigation supérieure, sélectionnez la région cible. Localisez l'espace de travail cible et choisissez dans la colonne Operation.
-
Configurer le groupe de ressources : Dans Data Studio, localisez le nœud de tâche pour lequel vous souhaitez tester le package tiers. Dans le volet de droite, cliquez sur Scheduling Settings.
-
Resource Group : Sélectionnez un groupe de ressources exclusif pour la planification.
Si le groupe de ressources cible ne s'affiche pas, vérifiez s'il est associé à l'espace de travail actuel. Vous pouvez accéder à la page Resource Group , localiser le groupe de ressources cible et cliquer sur Associate Workspace dans la colonne Operation .
-
Déboguer le nœud : Dans le volet Run Configuration situé à droite, configurez Computing Resources, Resource Group et Script Parameters. Ensuite, cliquez sur Run dans la barre d'outils supérieure.
Publier le nœud : Dans la barre d'outils supérieure, cliquez sur Publish pour déployer le nœud dans l'environnement de production.
Data Development (ancienne version)
Accéder à Data Development : Connectez-vous à la console DataWorks. Après avoir basculé vers la région cible, choisissez dans le volet de navigation de gauche. Dans la liste déroulante, sélectionnez l'espace de travail souhaité et cliquez sur Data Analytics.
-
Configurer le groupe de ressources : Dans Data Development, localisez le nœud de tâche pour lequel vous souhaitez tester le package tiers. Dans le volet de droite, cliquez sur Scheduling Settings.
-
Resource Group for Scheduling : Sélectionnez un groupe de ressources exclusif pour la planification.
Si le groupe de ressources cible ne s'affiche pas, vérifiez s'il est associé à l'espace de travail actuel. Vous pouvez accéder à la page Resource Group , localiser le groupe de ressources cible et cliquer sur Associate Workspace dans la colonne Operation .
-
Déboguer le nœud : Dans la barre d'outils supérieure, cliquez sur Run with Parameters (
). Configurez Resource Group Name puis cliquez sur Run.Publier le nœud : Dans la barre d'outils supérieure, cliquez sur Save et Submit pour déployer le nœud dans l'environnement de production.
Documents connexes
Une fois un package tiers installé, les tâches du groupe de ressources exclusif pour la planification peuvent l'utiliser. Pour plus d'informations, consultez les rubriques suivantes :