Object Storage Service:Reduce OSS requests and improve mount target performance

Méthodes d'accès aux fichiers

ossfs résout les chemins de fichiers de haut en bas, à partir du répertoire racine. Par exemple, pour obtenir les attributs de /dir/object, la commande stat /dir/object s'exécute comme suit :

1. Effectuez d'abord une opération sur /dir en envoyant une requête GetObjectMeta dir. Si elle renvoie 404 Not Found, l'objet n'existe pas ; une requête ListObject (max-keys=1)dir/ est alors envoyée. Si elle renvoie 200 OK, un dossier virtuel correspondant existe.

2. Effectuez une opération sur /dir/object en envoyant une requête GetObjectMeta dir/object. Si elle renvoie 200 OK, les attributs de l'objet sont obtenus avec succès.

Une seule commande stat /dir/object génère deux requêtes GetObjectMeta et une requête ListObject. Comme chaque composant du chemin nécessite ses propres recherches de métadonnées, le nombre de requêtes OSS augmente avec la profondeur du fichier, ce qui dégrade les performances.

Impact de la mise en cache des métadonnées de fichiers

L'exemple suivant montre comment la mise en cache des métadonnées affecte les performances lors de la lecture des attributs de 100 fichiers enfants dans le répertoire /dir/.

• Sans mise en cache des métadonnées

  • Accès aux fichiers avec une liste de fichiers connue :

    Lors de l'exécution en boucle de la commande stat /dir/object-<i>, chaque opération stat est convertie en une requête GetObjectMeta, générant au total 100 requêtes GetObjectMeta envoyées à OSS pour obtenir les attributs des fichiers. Cette multitude de requêtes de métadonnées affecte les performances.

  • Accès aux fichiers avec une liste de fichiers inconnue :

    Lors de l'exécution de la commande ls, cette opération est convertie en une requête ListObject envoyée à OSS pour obtenir la liste des fichiers. Ensuite, la commande stat /dir/object-<i> est exécutée en boucle pour obtenir les attributs des fichiers sur la base de la liste récupérée. Cela génère au final une requête ListObject et 100 requêtes GetObjectMeta envoyées à OSS, ce qui affecte les performances en raison du nombre élevé de requêtes de métadonnées.

• Avec mise en cache des métadonnées

  • Accès aux fichiers avec une liste de fichiers connue :

    Lors de l'exécution en boucle de la commande stat /dir/object-<i> , chaque opération stat est convertie en une requête GetObjectMeta, générant au total 100 requêtes GetObjectMeta. Ces 100 requêtes atteignent directement le cache local de métadonnées pour obtenir les attributs des fichiers dans la période de validité du cache, réduisant ainsi efficacement le nombre de requêtes envoyées à OSS.

  • Accès aux fichiers avec une liste de fichiers inconnue :

    Lors de l'exécution de la commande ls, cette opération est convertie en une requête ListObject envoyée à OSS tout en mettant à jour le cache local de métadonnées. Une fois la mise à jour du cache terminée, l'exécution en boucle de la commande stat /dir/object-<i> n'envoie aucune requête supplémentaire à OSS, car les métadonnées se trouvent déjà dans le cache local.

La mise en cache des métadonnées réduit efficacement les requêtes répétitives vers OSS. Lors du parcours de tous les fichiers d'un dossier, l'exécution préalable de ls précharge le cache et élimine les requêtes OSS subséquentes pour chaque fichier.

Prolonger la durée de mise en cache des métadonnées

Si vos données sont immuables après le téléchargement ou changent rarement par rapport à la durée du cache, augmentez l'option de montage attr_timeout pour prolonger la période de validité du cache de métadonnées et réduire les requêtes répétitives.

• Scénario métier : Dans un scénario d'annotation de données, le système lit un lot de données brutes précédemment collectées, les traite, puis génère un nouveau lot de données. Dans ce cas, les données brutes ne sont pas modifiées une fois téléchargées vers OSS.

• Configuration de montage : Dans le fichier de configuration ossfs 2,0, configurez la période de validité du cache de métadonnées sur 7200 secondes.

  # Bucket Endpoint (region node)
  --oss_endpoint=https://oss-cn-hangzhou-internal.aliyuncs.com
  
  # Bucket name
  --oss_bucket=bucketName
  
  # Metadata cache validity period
  --attr_timeout=7200
  
  # Access keys AccessKey ID and AccessKey Secret (optional for ossfs 2.0.1 and later versions)
  --oss_access_key_id=LTAI******************
  --oss_access_key_secret=8CE4**********************

Opérer après obtention de la liste des fichiers

Avant d'accéder à des fichiers individuels dans un répertoire, exécutez la commande ls ou envoyez une requête ListObject pour précharger toutes les métadonnées des fichiers dans le cache local. Combinée à une période de validité du cache plus longue, cette approche élimine les requêtes répétitives vers OSS pour chaque fichier.

Vous pouvez remplacer la commande ls par tout programme lisant le contenu d'un répertoire. Les exemples suivants répertorient les fichiers du répertoire /mnt/data/.

os.listdir('/mnt/data/')

entries, err := os.ReadDir("/mnt/data/")

dir = opendir("/mnt/data/");
if (dir != NULL) {
  struct dirent *entry;
  while((entry = readdir(dir)) != NULL) {}
  closedir(dir);
}

Utiliser un cache négatif pour accélérer la création de fichiers

Pour créer un nouveau fichier, un système de fichiers exécute deux appels système séquentiellement : lookup et create.

1. L'opération lookup détermine si le fichier correspondant existe. Dans ossfs 2.0, cette opération est analysée en une requête GetObjectMeta et une requête ListObjects.

2. Si une erreur 404 Not Found est renvoyée, ossfs crée le fichier à l'aide de l'opération create. Lorsque ossfs 2.0 exécute create, il envoie également une requête GetObjectMeta et une requête ListObjects pour vérifier si le fichier existe dans OSS.

Par conséquent, le processus de création d'un nouveau fichier implique quatre opérations de requête de métadonnées OSS.

ossfs 2,0 prend en charge la mise en cache des requêtes 404 renvoyées par OSS afin de réduire les requêtes dupliquées ultérieures. Pour activer cette fonctionnalité, spécifiez les options suivantes lors du montage du système de fichiers :

• --oss_negative_cache_timeout=30 (La valeur par défaut est 0 seconde. Nous vous recommandons de définir cette valeur inférieure à celle de attr_timeout.)

• --oss_negative_cache_size=10000 (Valeur par défaut : 10000)

Lorsque le cache négatif OSS est activé, la requête 404 issue de l'opération lookup pour un nouveau fichier est mise en cache. Par conséquent, la requête ultérieure lors de l'opération create atteint le cache négatif et aucune requête n'est envoyée à OSS. Cela réduit le nombre de requêtes OSS pour le processus de création de fichier de quatre à deux.