Object Storage Service:Performance metrics of OSS accelerator

Opérations sur de grands volumes de données

Dans l'exemple suivant, vous utilisez ossutil pour télécharger ou lire 10 000 objets d'une taille de 100 Ko (taille totale : 976 Mo) en utilisant un endpoint interne OSS et l'endpoint accéléré d'OSS Accelerator.

• Plan de test

  Outil de test	Opération	Description
  ossutil	Exécutez la commande cp pour télécharger 10 000 objets d'une taille de 100 Ko depuis un bucket OSS vers votre ordinateur local.	Utilisez l'endpoint interne OSS et l'endpoint accéléré pour tester la vitesse de téléchargement simultané des objets du répertoire OSS vers l'ordinateur local.

• Résultats du test

  Outil de test	Utilisation de l'endpoint interne OSS	Utilisation d'OSS Accelerator pour le préchargement des données et de l'endpoint accéléré pour un accès accéléré
  ossutil	2,2 Mo/s	24 Mo/s

• Conclusion du test

  • Le téléchargement des données avec ossutil est environ 10 fois plus rapide lorsque la fonctionnalité OSS Accelerator est activée que lorsqu'elle est désactivée.

  L'exemple précédent illustre comment la fonctionnalité OSS Accelerator améliore considérablement la vitesse de transmission et d'accès aux données lors de l'utilisation d'outils tels qu'ossutil pour effectuer des opérations par lot sur de grands volumes de données.

Apprentissage automatique ou apprentissage profond sur de grands volumes de données

Dans l'exemple suivant, vous lisez les données à partir des jeux de données OssIterableDataset et OssMapDataset créés par OSS Connector for AI/ML en utilisant un endpoint interne OSS et l'endpoint accéléré d'OSS Accelerator. Le test porte sur 10 000 000 objets d'une taille moyenne de 100 Ko (taille totale : 1 To).

• Paramètres de test

  Paramètre	Valeur/Opération	Description
  dataloader batch size	256	Chaque tâche par lot traite 256 échantillons.
  dataloader workers	32	Les données sont chargées en parallèle à l'aide de 32 processus.
  transform	def transform(object): data = object.read() return object.key, object.label	Aucun prétraitement des données n'est appliqué.

• Résultats du test

  Jeu de données créé à l'aide de	Type de jeu de données	Durée de chargement de 10 millions d'images via l'endpoint interne OSS (s)	Durée de chargement de 10 millions d'images via l'endpoint accéléré (s)
  OSS Connector for AI/ML	OssIterableDataset	100	81
  	OssMapDataset	176	127

• Conclusion du test

  La lecture des données à partir des jeux de données OssIterableDataset et OssMapDataset est environ 1,6 fois plus rapide lorsque la fonctionnalité OSS Accelerator est activée que lorsqu'elle est désactivée. OSS Connector for AI/ML gère un accès hautement concurrentiel à haut débit même lorsque OSS Accelerator est désactivé. L'utilisation conjointe d'OSS Connector for AI/ML et d'OSS Accelerator offre des performances encore supérieures.

Statistiques de latence de réponse au téléchargement

Téléchargez plusieurs fois des objets de 10 Mo pour les tests et calculez la latence de réponse en millisecondes avec OSS Accelerator désactivé puis activé. Lorsque OSS Accelerator est désactivé, les objets sont téléchargés depuis OSS.

Dans la figure suivante, P50 indique que 50 % des requêtes respectent les statistiques de latence actuelles, et P999 indique que 99,9 % des requêtes les respectent.

Les résultats montrent que la latence est divisée par 10 lors de l'utilisation d'OSS Accelerator.

Data lakes et entrepôts de données dans le cloud

Un utilisateur teste les performances avec un disque local, OSS et OSS Accelerator comme supports de stockage. Le test utilise environ 2 milliards d'enregistrements dans une table lineitem d'une taille de 760 Go.

• Latence

  Scénario	CacheFS local (disque local)	OSS	OSS Accelerator
  Requêtes ponctuelles	382 ms	2 451 ms	1 160 ms
  Requêtes aléatoires sur 1 000 éléments de données	438 ms	3 786 ms	1 536 ms
  Requêtes aléatoires sur 10 % des données	130 564 ms	345 707 ms	134 659 ms
  Analyse complète	171 548 ms	398 681 ms	197 134 ms

• Performance

  • Lors des requêtes en ligne, le temps de réponse d'OSS Accelerator est 2 à 2,5 fois supérieur à celui d'OSS. Lors de l'analyse complète et des requêtes aléatoires sur 10 % des données, les performances d'OSS Accelerator sont 2 à 2,5 fois supérieures à celles d'OSS et atteignent 85 % des performances du CacheFS ESSD local.

  • Lors des requêtes en ligne, la latence fixe d'une seule requête envoyée à OSS Accelerator est de 8 à 10 ms. Lors des requêtes aléatoires sur 1 000 éléments de données et des requêtes ponctuelles, les performances d'OSS Accelerator sont 1,5 à 3 fois supérieures à celles d'OSS et atteignent 30 % des performances du CacheFS ESSD local.

Entraînement par simulation pour les conteneurs et la conduite autonome

Lorsque vous activez la fonctionnalité OSS Accelerator, un grand nombre de conteneurs démarrent simultanément pour obtenir des images, des cartes et des journaux, ce qui réduit la durée totale de l'entraînement par simulation de 60 %.