Object Storage Service:Configurer un répertoire temporaire local pour prendre en charge les écritures aléatoires

Informations générales

Une fois qu'un objet est créé dans OSS, il ne peut pas être modifié partiellement. Toute modification du contenu nécessite la réécriture intégrale de l'objet. Dans le mode par défaut d'ossfs 2,0, le chemin d'écriture utilise un téléchargement en flux continu : les données sont envoyées vers OSS sous forme de parties séquentielles au fur et à mesure de leur écriture, ce qui présente les limitations suivantes :

• Seules les écritures séquentielles sont prises en charge. Les appels pwrite à des positions situées au-delà de la fin du fichier ne sont pas pris en charge.

• La commande truncate ne permet que la troncature à zéro. La troncature à toute autre taille non nulle renvoie l'erreur ENOTSUP.

• Il est impossible de lire un fichier pendant son écriture (avant sa fermeture). Une telle tentative renvoie l'erreur EBUSY.

Des scénarios tels que l'exécution de code par des agents IA, l'édition de scripts sur place et le traitement des résultats intermédiaires en calcul scientifique reposent couramment sur la sémantique d'écriture aléatoire. La fonctionnalité d'écriture aléatoire d'ossfs 2,0 met les données écrites en tampon dans un répertoire temporaire local et, combinée à la gestion des blocs et au téléchargement incrémentiel, implémente les écritures aléatoires par-dessus le stockage d'objets.

Le mode d'écriture aléatoire d'ossfs 2,0 présente les caractéristiques suivantes :

• Sémantique complète d'écriture aléatoire POSIX : Prend en charge pwrite à des décalages arbitraires, O_APPEND et truncate à n'importe quelle taille (extension ou réduction).

• Lecture pendant l'écriture : Un fichier peut être lu pendant son écriture. Les parties modifiées sont lues depuis la zone de mise en tampon locale, tandis que les parties non modifiées sont lues directement depuis OSS.

• Téléchargement incrémentiel : Lors de la synchronisation (flush) ou de la fermeture, seuls les blocs de données modifiés sont téléchargés depuis le disque local. Les parties non modifiées sont gérées via une copie côté serveur sur OSS, sans consommation d'E/S locales ni de bande passante de téléchargement.

• Protection de l'espace disque : Un budget disque global intégré renvoie l'erreur ENOSPC pour les écritures lorsque l'espace du disque de mise en tampon est faible. Vous pouvez réserver un seuil d'espace libre au moment du montage pour éviter que le disque système ne soit saturé.

Principes de fonctionnement

Méthodes de configuration

Contraintes :

• Si le répertoire ciblé par --temp_dir n'existe pas, il est créé automatiquement. Nous vous recommandons d'utiliser une partition ou un disque indépendant pour éviter la contention d'espace avec le disque système ou d'autres charges de travail.

• Les données des fichiers en cours d'écriture sont stockées dans le répertoire temporaire local. Si le disque manque de capacité, les écritures renvoient ENOSPC. L'espace disque libre restant, moins l'espace réservé par temp_dir_free_bytes, est appelé espace disque accessible en écriture. ossfs2 utilise uniquement cette portion d'espace pour stocker les données en cours d'écriture. L'espace disque accessible en écriture doit être supérieur à la taille totale de tous les fichiers écrits simultanément (dans le pire des cas, un fichier entier peut être écrit localement).

• Lorsque plusieurs instances ossfs2 sont montées sur la même machine, elles peuvent partager le même répertoire temporaire, car les noms des fichiers de mise en tampon n'entrent pas en collision. Toutefois, plusieurs instances entreront en concurrence pour l'espace et les E/S du disque ; nous vous recommandons donc d'utiliser des répertoires indépendants.

• Les options --temp_dir et --enable_appendable_object sont mutuellement exclusives et ne peuvent pas être activées simultanément.

Exemple de commande de montage :

ossfs2 mount /mnt/oss/ \
  --oss_bucket <your-bucket> \
  --oss_endpoint <your-endpoint> \
  --oss_access_key_id <ak> \
  --oss_access_key_secret <sk> \
  --temp_dir /mnt/disk/ossfs2/temp \
  --temp_dir_free_bytes 1G

Configuration requise

Effets de la fonctionnalité

Comparaison des capacités d'écriture avant et après l'activation de --temp_dir :

Sémantique de durabilité :

• Par défaut, le mode d'écriture aléatoire suit la sémantique fsync : fsync déclenche un téléchargement fusionné des modifications locales avec les données présentes dans le cloud. Un retour réussi signifie que les données ont été persistées sur OSS. Les données restantes sont également téléchargées lors de la fermeture du fichier.

• En cas d'échec du téléchargement, l'erreur est renvoyée à l'application, qui peut retenter l'opération via fsync. Si le téléchargement échoue définitivement et que le fichier est fermé, les données non persistées sont perdues et le contenu du fichier revient à la dernière version téléchargée avec succès sur le côté distant.

• Si le processus se termine anormalement, les données mises en tampon non téléchargées sont perdues, mais l'objet dans OSS reste dans l'état de son dernier téléchargement réussi. Aucun objet corrompu n'est produit.

Recommandations d'utilisation

Les écritures aléatoires basées sur un répertoire temporaire local conviennent aux scénarios nécessitant une sémantique d'écriture similaire à celle d'un système de fichiers local sur un point de montage OSS.

Scénarios adaptés à l'activation des écritures aléatoires :

Scénarios pour lesquels l'activation des écritures aléatoires n'est pas recommandée :

Recommandations relatives au budget disque :

• Maintenez le répertoire temporaire séparé du disque système pour empêcher les données mises en tampon de saturer le disque système et d'affecter la stabilité de l'hôte. Si la machine ne dispose que d'un seul disque, nous vous recommandons de définir temp_dir_free_bytes sur une valeur plus élevée (par exemple, 10G) afin de réserver suffisamment d'espace libre pour le système.

• L'espace disque accessible en écriture (voir les contraintes ci-dessus) doit être supérieur à la taille totale des fichiers écrits simultanément.

• Pour un fichier unique dépassant 100 GiB, en plus d'augmenter explicitement --random_write_max_file_size (par exemple, --random_write_max_file_size=500G), vous devez également vous assurer que l'espace disque accessible en écriture dépasse la taille de ce fichier.