DataWorks:Environnement de développement personnel

Fonctionnalités

Data Studio vous permet de créer des instances d'environnement de développement personnel au niveau du compte, dotées d'une connectivité réseau vers le stockage NAS et les dépôts Git. Clonez du code, développez et déboguez du code Python et Notebook en ligne, puis validez votre code dans un espace de travail de projet pour la planification.

Une instance d'environnement de développement personnel :

• Prend en charge les écosystèmes SQL, AI Notebook et Python. Elle permet d'exécuter des instructions SQL, des scripts Python et des commandes shell en local, de développer des tâches pour le développement Notebook et de déboguer votre code.

• Permet l'installation d'extensions pour le développement de tâches correspondantes, telles que les tâches Agent DataWorks basées sur des clients tiers.

• Offre une intégration Git pour la gestion du code, ce qui facilite le clonage, l'envoi (push) et la gestion de votre code.

• S'appuie sur OSS et NAS pour faciliter la gestion et l'accès aux données.

• Prend en charge les images personnalisées DataWorks, permettant d'effectuer diverses tâches de développement à partir des images que vous créez.

Grâce à ces fonctionnalités, Data Studio fournit un environnement de développement flexible qui simplifie le traitement des données, l'analyse et l'entraînement des modèles.

Facturation

Lorsque vous créez une instance d'environnement de développement personnel, spécifiez un groupe de ressources et le nombre d'UC (Unités de calcul). La facturation des UC consommées par le groupe de ressources dépend du temps d'exécution de l'instance. Pour plus d'informations, consultez la section Facturation des groupes de ressources serverless.

• Lorsqu'une instance d'environnement de développement personnel est à l'état Running, les frais de calcul sont facturés selon la méthode de facturation du groupe de ressources. Si l'instance utilise un groupe de ressources à la demande, les frais sont calculés sur la base de quota de ressources × durée d'exécution de l'instance. Si l'instance utilise un groupe de ressources par abonnement, elle consomme le quota disponible de ce groupe de ressources.

• Si une instance d'environnement de développement personnel n'est pas utilisée, arrêtez l'instance rapidement depuis la page de gestion des instances.

Remarques d'utilisation

• Limites de l'espace de travail : Cette fonctionnalité est disponible uniquement dans un espace de travail où l'option Use Data Studio (New Version) est activée.

• Limites du groupe de ressources : Seuls les groupes de ressources serverless sont pris en charge.

• Limites de quantité : Chaque membre peut créer jusqu'à 10 instances d'environnement de développement personnel dans un espace de travail.

• Limites de stockage : Chaque instance d'environnement de développement personnel offre 30 GiB de disque cloud gratuit (le stockage intégré de l'instance). Le stockage est récupéré 15 jours après l'arrêt de l'instance. Veillez à sauvegarder vos fichiers de code personnels en temps utile.

• Contrôle d'accès : Data Studio gère les autorisations des instances d'environnement de développement personnel en fonction de l'identité (administrateur du locataire, administrateur de l'espace de travail ou propriétaire de l'instance).

  • Administrateur du locataire ou administrateur de l'espace de travail

    • Peut consulter et gérer toutes les instances d'environnement de développement personnel dans l'espace de travail actuel .

    • Peut uniquement utiliser les instances d'environnement de développement personnel dont il est le propriétaire.

  • Propriétaire de l'instance

    • Peut uniquement consulter, utiliser et gérer les instances d'environnement de développement personnel dont il est le propriétaire .

      Les opérations de gestion incluent Change Configuration , Stop , Start , Delete , Create Image , Scheduled Shutdown et View Automatic Shutdown Policy .

• Contrôles de sécurité : Les administrateurs du locataire ou les administrateurs de sécurité du locataire peuvent utiliser la fonction contrôle de l'environnement de développement personnel dans Security Center pour configurer des politiques de contrôle pour les environnements de développement personnel. Les opérations suivantes peuvent être restreintes :

  • Téléchargement de fichiers : Les administrateurs peuvent spécifier s'il faut autoriser les téléchargements de fichiers depuis les répertoires montés sur les instances d'environnement de développement personnel. Lorsque cette option est désactivée, le bouton de téléchargement est grisé.

  • Installation d'extensions : Les administrateurs peuvent spécifier s'il faut autoriser l'installation d'extensions. Lorsque cette option est désactivée, le bouton d'installation est grisé.

  • Utilisation du terminal : Les administrateurs peuvent spécifier s'il faut autoriser l'utilisation du terminal. Lorsque cette option est désactivée, le bouton du terminal est grisé.

Créer une instance d'environnement de développement personnel

1. Accédez à la page Workspaces dans la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région souhaitée. Localisez l'espace de travail désiré et choisissez Shortcuts > Data Studio dans la colonne Actions.

2. Cliquez sur Personal development environment en haut de la page, puis sélectionnez une instance d'environnement de développement personnel existante ou créez-en une nouvelle selon vos besoins.

   Paramètre		Description
   Nom de l'instance		Nom de l'instance d'environnement de développement personnel. Vous pouvez spécifier un nom personnalisé.
   Propriétaire de l'instance		Par défaut, l'utilisateur actuel qui crée l'espace de travail est défini comme propriétaire de l'instance .
   Détails des ressources	Groupe de ressources	Sélectionnez le groupe de ressources serverless pour l'instance d'environnement de développement personnel.
   	Type de ressource	Vous pouvez configurer les types de ressources CPU et GPU.
   	Quota de ressources	Sélectionnez la spécification de ressource pour l'instance d'environnement de développement personnel. Le quota de ressources de la spécification sélectionnée ne doit pas dépasser le Maximum CUs configuré pour l'environnement de développement personnel dans le groupe de ressources. Sinon, la spécification ne peut pas être ajoutée. Pour ajuster le quota, contactez votre administrateur afin qu'il le modifie dans la section de gestion des quotas sur la page des détails du groupe de ressources. Après avoir sélectionné une spécification, les informations suivantes s'affichent : Specification Name, CPU, Memory, Bande passante et Resource Quota (nombre d'UC déduites du groupe de ressources pour la spécification sélectionnée). Par rapport aux instances de type CPU, les instances de type GPU affichent également la GPU Specification et la GPU Memory. Vous pouvez allouer les Maximum CUs ou les Minimum CUs disponibles pour l'instance d'environnement de développement personnel actuelle dans la section de gestion des quotas du groupe de ressources serverless. Important Portez une attention particulière aux informations relatives au Resource Quota ici. Lorsqu'une instance d'environnement de développement personnel est en cours d'exécution, si l'instance utilise un groupe de ressources à la demande, les frais de calcul sont calculés sur la base de quota de ressources × durée d'exécution de l'instance. Si l'instance utilise un groupe de ressources par abonnement, elle consomme le quota disponible de ce groupe de ressources.
   Image		Sélectionnez une image fournie par le système ou une image personnalisée selon vos besoins. Images intégrées au système : Pour plus d'informations, consultez la section Images intégrées au système. Images personnalisées : En plus des images fournies par le système, vous pouvez sélectionner une image personnalisée que vous avez créée. Les images personnalisées vous permettent de préinstaller des packages tiers spécifiques pour répondre à vos exigences de développement personnalisées. Pour savoir comment créer une image personnalisée, consultez la section Créer une image DataWorks à partir d'un environnement de développement personnel.
   Paramètres de stockage	Disque système	Chaque instance d'environnement de développement personnel offre 30 GiB de disque cloud gratuit (le stockage intégré de l'instance). Le stockage est récupéré 15 jours après l'arrêt de l'instance. Veillez à sauvegarder vos fichiers de code personnels en temps utile. Le chemin par défaut du stockage intégré d'une instance d'environnement de développement personnel est /mnt/workspace.
   	Jeux de données	Si vous devez lire ou écrire dans le stockage OSS ou NAS depuis un environnement de développement personnel, vous pouvez ajouter des jeux de données à l'environnement de développement personnel. Datasets : Sélectionnez un type de stockage de fichiers (OSS ou NAS) parmi les jeux de données créés dans l'espace de travail actuel à partir de la liste déroulante. Notez les points suivants : Lorsque vous sélectionnez un jeu de données de type NAS, si le VPC du groupe de ressources DataWorks actuel n'est pas connecté à la cible de montage NAS, ajustez le réseau VPC pour assurer la connectivité. Remarque La connexion réseau est établie lorsque le VPC associé au groupe de ressources DataWorks est identique au VPC associé à la cible de montage NAS. Mount Path : Le chemin de montage par défaut est basé sur la configuration du jeu de données. Vous pouvez le modifier manuellement pour le nœud actuel. Advanced Settings : Lors de la lecture de jeux de données OSS ou NAS pour le développement de nœuds, vous pouvez configurer différents paramètres avancés pour ajuster la méthode de lecture et le protocole de montage du jeu de données. Read Only : Lorsque le mode lecture seule est activé, les tâches s'exécutant dans l'environnement de développement personnel peuvent uniquement lire les données et ne peuvent pas écrire dans OSS ou NAS. Important Remarques concernant la suppression de fichiers dans le stockage des instances d'environnement de développement personnel : Les fichiers supprimés de l'espace NAS monté sur une instance d'environnement de développement personnel (situé par défaut dans /mnt/data) ne sont pas déplacés vers la corbeille de Data Studio. Si la fonctionnalité de corbeille est activée dans la console NAS, les fichiers supprimés sont déplacés vers la corbeille du système de fichiers. Les fichiers supprimés de l'espace OSS monté sur une instance d'environnement de développement personnel (situé par défaut dans /mnt/data) ne sont pas déplacés vers la corbeille de Data Studio. Vous pouvez récupérer les données en activant la fonctionnalité de gestion des versions. Les fichiers supprimés du stockage intégré d'une instance d'environnement de développement personnel (situé par défaut dans /mnt/workspace) ne sont pas déplacés vers la corbeille de Data Studio.
   Paramètres réseau	VPC	Accéder aux ressources VPC (telles que RDS) : Configurez le Proprietary Network correspondant ici. Accéder aux ressources Internet : Laissez ce champ vide. L'environnement de développement prend en charge l'accès Internet par défaut. Accéder aux ressources VPC et Internet : Après avoir configuré un Proprietary Network ici, vous devez également configurer une passerelle NAT Internet pour le VPC afin d'accéder à Internet. Remarque Pour accéder aux adresses protégées par un contrôle d'accès basé sur une liste d'autorisation, vous devez également associer un Proprietary Network disposant d'une capacité d'accès à Internet.
   	Groupe de sécurité	Sélectionnez un groupe de sécurité existant à associer.
   	vSwitch	Facultatif. Si vous ne spécifiez pas de vSwitch, le système en sélectionne un au hasard dans le VPC sélectionné.
   Configuration d'accès	Activer SSH	Une fois SSH activé, vous pouvez utiliser SSH pour vous connecter directement à l'environnement de développement personnel via le VPC sélectionné. Si vous utilisez une image personnalisée, assurez-vous que sshd est installé dans l'image. Important Pour utiliser SSH, vous devez installer SSH Server dans l'environnement de développement personnel. Pour plus d'informations, consultez la section Installer et configurer SSH Server.
   	Clé publique SSH	La clé publique générée localement. Pour plus d'informations, consultez la section Générer une paire de clés SSH.
   	Méthode d'accès SSH	Log on from VPC : Cette méthode d'accès est prise en charge par défaut. Vous pouvez accéder à l'environnement de développement personnel depuis d'autres terminaux au sein du VPC, tels que des instances ECS. Log on from Internet : Sélectionnez cette option pour activer l'accès Internet. Vous devez également configurer une NAT Gateway et une EIP.
   	Domaine d'accès VPC	Un nom de domaine faisant autorité intégré (Private Zone) est créé pour vous. Vous pouvez utiliser ce nom de domaine au sein du VPC pour accéder au service SSH ou à d'autres services personnalisés de l'instance actuelle, évitant ainsi de devoir suivre les adresses IP changeantes de l'instance. Notez que le nom de domaine faisant autorité intégré entraîne des frais.
   	NAT Gateway	Ce paramètre est requis si vous avez besoin d'un accès Internet. Sélectionnez une passerelle NAT Internet créée pour le VPC actuel.
   	EIP	Ce paramètre est requis si vous avez besoin d'un accès Internet. Sélectionnez une EIP créée pour la passerelle NAT actuelle.
   Informations avancées	Rôle RAM de l'instance	Un rôle RAM d'instance vous permet d'associer un rôle à une instance d'environnement de développement personnel. Au sein de l'instance, vous pouvez accéder à d'autres services Alibaba Cloud en utilisant des identifiants temporaires STS, qui sont actualisés périodiquement. Cela garantit la sécurité de votre AccessKey et permet un contrôle d'accès granulaire via RAM. Par défaut, Dataworks Default Role est sélectionné. Pour plus d'informations sur les rôles, consultez la section Configurer un rôle RAM d'instance pour un environnement de développement personnel.

Gérer les instances d'environnement de développement personnel

Utiliser des jeux de données dans un environnement de développement personnel

Les environnements de développement personnel prennent en charge les jeux de données, ce qui vous permet de lire ou d'écrire dans le stockage OSS ou NAS lors de l'exécution des nœuds. Pour plus d'informations, consultez la section Utiliser des jeux de données dans un environnement de développement personnel.

Références

• Vous pouvez créer une image personnalisée à partir d'une instance d'environnement de développement personnel et l'utiliser lors du développement d'autres nœuds. Pour plus d'informations sur la création et l'utilisation d'images à partir d'une instance d'environnement de développement personnel, consultez la section Créer et utiliser des images personnalisées.

• Pour obtenir des instructions sur la connexion d'un environnement de développement personnel à un dépôt Git afin de cloner, pousser et gérer le code, consultez la section Se connecter à un dépôt Git.

FAQ

Q : L'instance ne parvient pas à démarrer avec l'erreur cu is not enough as max.

R : Le groupe de ressources limite le nombre maximal d'UC pour les environnements de développement personnels. Accédez à la page des détails du groupe de ressources et ajustez le quota dans la section de gestion des quotas.

Q : Quelle est la relation entre un environnement de développement personnel et les environnements de développement et de production dans un espace de travail en mode standard ?

R : Un environnement de développement personnel et les environnements de développement et de production dans un espace de travail en mode standard ont des objectifs différents. Un environnement de développement personnel est une instance basée sur le cloud, au niveau du compte, destinée au codage, au débogage et aux tests. Les environnements de développement et de production sont utilisés pour la planification et l'exécution des workflows. Après avoir écrit et débogué le code dans un environnement de développement personnel, soumettez-le à l'espace de travail du projet via le processus de déploiement pour configurer les planifications dans l'environnement de développement et déployer vers l'environnement de production pour l'exécution.

Q : Comment déployer un workflow depuis un environnement de développement personnel vers l'environnement de développement pour la planification ?

R : Après avoir terminé le développement et le débogage du code dans l'environnement de développement personnel, soumettez le code à l'espace de travail du projet. Ensuite, accédez à la page de développement des données dans Data Studio, ouvrez le nœud de workflow correspondant dans l'environnement de développement, configurez la planification et les dépendances, puis déployez le workflow vers l'environnement de production.

Q : La liste déroulante en haut de l'environnement de développement personnel est vide et je ne peux pas basculer vers l'environnement de développement ou de production.

R : La liste déroulante en haut de l'environnement de développement personnel sert à sélectionner et gérer les instances d'environnement de développement personnel, et non à basculer vers l'environnement de développement ou de production. Si la liste déroulante est vide, cela est généralement dû à l'une des raisons suivantes :

• L'espace de travail actuel n'est pas associé à un groupe de ressources serverless, ou aucun quota d'UC n'est alloué pour les environnements de développement personnels dans le groupe de ressources.

• L'utilisateur actuel n'a créé aucune instance d'environnement de développement personnel. Cliquez sur la liste déroulante pour créer une instance.

• L'espace de travail n'a pas activé Data Studio. Les environnements de développement personnels sont disponibles uniquement dans Data Studio.