Dataset Accelerator (DatasetAcc) est une offre PaaS qui accélère l'accès aux jeux de données pour les charges de travail d'entraînement IA sur Alibaba Cloud. Il analyse et traite vos jeux de données d'entraînement au préalable afin de proposer une solution unifiée d'accélération d'accès pour divers moteurs d'entraînement cloud-native, améliorant ainsi l'efficacité globale de l'entraînement.
Architecture
Le schéma suivant illustre l'architecture de Dataset Accelerator.
Limites
Avant d'utiliser Dataset Accelerator, tenez compte des limites suivantes.
Seuls les jeux de données stockés sur Alibaba Cloud peuvent être accélérés, par exemple ceux hébergés dans Object Storage Service (OSS) ou Cloud Parallel File System (CPFS).
Les jeux de données doivent être non chiffrés et stockés sur Alibaba Cloud.
Les données d'un accélérateur de jeu de données sont en lecture seule. L'écriture dynamique n'est pas prise en charge.
Une instance unique d'accélérateur de jeu de données peut accélérer des jeux de données dont la taille atteint 100 To.
Facturation
La facturation de Dataset Accelerator repose sur la capacité achetée et la durée. Pour plus d'informations, consultez Facturation de Dataset Accelerator (DatasetAccelerator).
Fonctionnalités
-
Optimisation de l'entraînement pour les grands volumes de petits fichiers.
Dataset Accelerator améliore les performances lorsque l'entraînement implique un grand nombre de petits fichiers, tels que des images, du texte ou des vidéos. Il pré-emballe et traite les données en fonction du type de modèle et de la structure réseau utilisés lors de l'entraînement en apprentissage profond.
-
Service entièrement géré et prêt à l'emploi.
Ce service cloud entièrement géré est simple à utiliser et opérationnel dès son activation.
-
Élasticité et mise à l'échelle.
Il s'appuie sur la couche Infrastructure as a Service (IaaS) pour offrir une mise à l'échelle rapide des ressources et une grande élasticité.
-
Accès partagé.
Plusieurs clusters d'entraînement peuvent partager des jeux de données via Dataset Accelerator.
-
Multi-location sécurisée.
L'isolation des données multi-locataires garantit la sécurité des données entre les utilisateurs.
Termes
Avant d'utiliser Dataset Accelerator, familiarisez-vous avec les concepts suivants.
-
Instance d'accélérateur de jeu de données (Instance)
L'instance constitue l'unité de facturation et de gestion pour Dataset Accelerator. Lorsque vous créez une instance par abonnement, le système réserve les ressources cloud correspondantes et la facturation débute immédiatement. Pour les instances au paiement à l'utilisation, vous êtes facturé en fonction de l'utilisation des slots d'accélération.
-
Slot d'accélération (Slot)
Un slot représente une unité de service pour un seul jeu de données. Vous pouvez créer plusieurs slots d'accélération au sein d'une même instance d'accélérateur de jeu de données. Chaque slot accélère un jeu de données spécifique, ce qui permet à plusieurs tâches d'entraînement en apprentissage profond d'utiliser différents jeux de données simultanément.
-
Relation entre une instance et un slot
Vous pouvez créer plusieurs instances d'accélérateurs de jeu de données. Pour chaque instance, il est possible de configurer plusieurs slots d'accélération de différentes capacités. Le rapport entre une instance et ses slots est de 1:N. Chaque slot d'accélération est associé à un stockage de jeu de données.
Procédure
Pour utiliser Dataset Accelerator, suivez les étapes ci-dessous.
-
Créer et gérer des instances d'accélérateur de jeu de données
Créez des instances d'accélérateur de jeu de données selon vos besoins métier, la taille de votre équipe, la fréquence des entraînements et la taille des jeux de données. Une instance unique prend en charge l'accélération de plusieurs jeux de données destinés à différentes tâches d'entraînement grâce à l'utilisation de plusieurs slots d'accélération.
Dataset Accelerator consomme des ressources cloud supplémentaires. Afin de garantir la disponibilité des ressources pour l'accélération des tâches d'entraînement critiques, nous vous recommandons d'utiliser la méthode de facturation par abonnement pour réserver les ressources à l'avance.
-
Créer et gérer des slots d'accélération
Au sein d'une instance d'accélérateur de jeu de données sélectionnée, créez un slot d'accélération en fonction de la taille du jeu de données utilisé pour l'entraînement. Une instance peut contenir plusieurs slots. Le stockage total de tous les slots ne doit pas dépasser la capacité de l'instance.
Lors de la création d'un slot, le système pré-traite le jeu de données associé en tenant compte de facteurs tels que le type de données, la taille des données, ainsi que le framework d'entraînement et le modèle. Une fois l'initialisation terminée, Dataset Accelerator met à disposition des interfaces directement utilisables par vos tâches d'entraînement.
-
Utiliser Dataset Accelerator sur la plateforme PAI
Lors de la création d'un jeu de données sur la plateforme PAI, vous pouvez activer l'accélération du jeu de données. Vous pourrez ensuite utiliser le jeu de données accéléré lors de la création d'une instance Data Science Workshop (DSW) ou de la soumission d'une tâche DLC, améliorant ainsi l'efficacité de lecture des données.