Object Storage Service:ossfs 2.0

Améliorations des performances

ossfs 2,0 améliore significativement les performances par rapport à ossfs 1.0 pour les opérations de lecture et d'écriture séquentielles, ainsi que pour les lectures concurrentes de petits objets. Pour plus d'informations sur les performances d'ossfs 2,0, consultez la rubrique Tests de performance.

• Performances en écriture séquentielle : Dans les scénarios d'écriture séquentielle monothread de grands objets, ossfs 2,0 offre une bande passante près de 18 fois supérieure à celle d'ossfs 1,0.

• Performances en lecture séquentielle : Dans les scénarios de lecture séquentielle monothread ou multithread (4 threads) de grands objets, ossfs 2,0 fournit une bande passante plus de 3 fois supérieure à celle d'ossfs 1,0.

• Performances en lecture concurrente de petits objets : Dans les scénarios de lecture de petits objets à forte concurrence (128 threads), ossfs 2,0 offre une bande passante plus de 20 fois supérieure à celle d'ossfs 1,0.

Cas d'utilisation

ossfs 2,0 convient aux scénarios nécessitant un accès au stockage haute performance, tels que l'entraînement et l'inférence en IA, le traitement du Big Data, la conduite autonome et autres charges de travail intensives en calcul. Ces charges de travail impliquent principalement des lectures séquentielles et aléatoires, ainsi que des écritures séquentielles (ajout uniquement), sans exiger la prise en charge complète de la sémantique POSIX.

Environnement d'exécution

ossfs 2,0 repose sur Filesystem in Userspace (FUSE).

Limitations

• Exigences en matière d'autorisations : L'AccessKey utilisé doit disposer d'autorisations complètes pour le bucket cible ou le préfixe spécifié. Des autorisations insuffisantes peuvent entraîner l'échec de l'opération de montage ou un comportement inattendu lors d'autres opérations.

• Limitations liées aux classes de stockage : Il est déconseillé de monter des buckets utilisant les classes de stockage Archive, Cold Archive ou Deep Cold Archive.

• Limitations relatives aux noms d'objets et de répertoires : Les noms d'objets et de répertoires sont limités à 255 caractères en raison d'une contrainte Linux. Les objets ou répertoires dans OSS dont les noms dépassent cette limite ne sont pas visibles au point de montage.

• Limitations de lecture d'objets : ossfs télécharge les objets nouvellement écrits vers OSS uniquement après la fermeture des handles de fichier correspondants. La lecture d'un objet avant la fermeture de son handle peut provoquer une erreur.

• Limitations d'écriture d'objets : En mode par défaut, les écritures aléatoires et les écritures concurrentes sur le même objet ne sont pas prises en charge. La taille de partie par défaut est de 8 388 608 octets (8 MiB), ce qui limite la taille maximale d'un objet inscriptible à 83 886 080 000 octets (78 125 GiB). Vous pouvez configurer la taille de partie à l'aide de l'option de montage upload_buffer_size. À partir de la version 2.0.9, vous pouvez utiliser l'option de montage temp_dir pour activer le mode d'écriture aléatoire basé sur un répertoire temporaire local. Ce mode prend en charge les écritures à des offsets arbitraires, la troncation à n'importe quelle taille et les handles d'écriture concurrents sur le même objet.

• Opérations de renommage d'objets (non atomiques)

  • Objets : L'opération copie d'abord l'objet source vers la destination, puis supprime l'objet source.

  • Répertoires : L'opération copie tous les objets du répertoire source vers la destination, puis effectue une suppression groupée des objets sources. Par défaut, l'opération de renommage est limitée à 2 millions d'objets descendants. Vous pouvez modifier cette limite à l'aide de l'option de montage rename_dir_limit.

• Cohérence des écritures concurrentes : ossfs 2,0 ne garantit pas la cohérence des données lorsque plusieurs clients montent le même bucket et écrivent simultanément sur le même objet.

• Compatibilité avec l'API POSIX : Partiellement compatible. Pour plus de détails, consultez la section Prise en charge de l'API POSIX.

Fonctionnalités

Références

• Installation d'ossfs 2,0

• Configuration d'ossfs 2,0

• Montage d'un bucket avec ossfs 2,0

• Options de montage d'ossfs 2,0

• Tests de performance d'ossfs 2,0

• Mécanisme de reconnaissance des objets et des répertoires

• Réduction des requêtes OSS et amélioration des performances du point de montage

• FAQ

• Historique des versions