Object Storage Service:Use tiered storage to store cold data at a low cost with OSS-HDFS

Prérequis

• Les données ont été écrites dans OSS-HDFS.

• Pour utiliser le stockage hiérarchisé (y compris les classes de stockage Infrequent Access, Archive et Cold Archive), vous devez d'abord soumettre un ticket afin d'en faire la demande. Par ailleurs, si vous souhaitez également utiliser la classe de stockage Deep Cold Archive, vous devez soumettre un ticket distinct. Si vous n'avez jamais activé le stockage hiérarchisé, vous pouvez soumettre un seul ticket demandant l'accès à toutes les classes de stockage, y compris Deep Cold Archive.

• Les régions suivantes prennent en charge la conversion vers les classes de stockage Infrequent Access, Archive et Cold Archive : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Hong Kong), Singapour, Allemagne (Francfort), États-Unis (Silicon Valley), États-Unis (Virginie) et Indonésie (Jakarta)

• Les régions suivantes prennent en charge la conversion vers la classe de stockage Deep Cold Archive : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Ulanqab), Chine (Shenzhen), Chine (Zhangjiakou) et Singapour

• JindoSDK version 6.8.0 ou ultérieure est installée. Pour plus d'informations, consultez la rubrique Démarrage rapide : Connecter un cluster non-EMR au service OSS-HDFS.

Notes d'utilisation

• Si votre version de JindoSDK est antérieure à la 6.8.0, vous ne pouvez pas créer de fichiers dans un répertoire configuré avec une classe de stockage Infrequent Access, Archive, Cold Archive ou Deep Cold Archive. Pour placer des fichiers dans un répertoire utilisant l'une de ces quatre classes de stockage, créez et fermez d'abord le fichier dans un répertoire de classe de stockage Standard, puis utilisez l'opération rename pour le déplacer vers le répertoire cible.

  Pour créer directement des fichiers dans un répertoire de classe de stockage Infrequent Access, Archive, Cold Archive ou Deep Cold Archive, mettez à niveau JindoSDK vers la version 6.8.0 ou ultérieure.

• La conversion des données vers les classes de stockage Archive, Cold Archive ou Deep Cold Archive engendre une surcharge système importante et la récupération des données est lente. Choisissez ces classes de stockage avec précaution.

• Le stockage hiérarchisé prend en charge les conversions de classes de stockage suivantes :

  • Conversion du chaud vers le froid

    

  • Conversion du froid vers le chaud

    

Facturation

• Frais de récupération des données

  La lecture des données OSS-HDFS appartenant aux classes de stockage Infrequent Access, Archive, Cold Archive ou Deep Cold Archive entraîne des frais de récupération basés sur la capacité récupérée. Évitez par conséquent d'utiliser ces quatre classes de stockage pour les données qui doivent être consultées fréquemment. Pour plus d'informations, consultez la rubrique Frais de traitement des données.

• Frais d'étiquetage

  La configuration d'une politique de stockage pour les données OSS-HDFS implique l'ajout d'étiquettes aux blocs de données. Les frais d'étiquetage des blocs de données suivent les règles de facturation de l'étiquetage des objets OSS. Pour plus d'informations, consultez la rubrique Frais d'étiquetage des objets.

• Frais de stockage pour les données conservées moins que la durée minimale

  La durée minimale de stockage est de 30 jours pour la classe de stockage Infrequent Access, de 60 jours pour la classe de stockage Archive, de 180 jours pour la classe de stockage Cold Archive et de 180 jours pour la classe de stockage Deep Cold Archive. Lorsque vous convertissez la classe de stockage des données à l'aide de JindoFS, assurez-vous de respecter la durée minimale de stockage pour chaque classe afin d'éviter des frais supplémentaires. Les exemples suivants détaillent le calcul :

  Méthode de conversion	Exemple	Calcul de la durée minimale de stockage	Frais de capacité déjà encourus	Comment éviter les frais liés à une durée de stockage inférieure au minimum
  Du chaud vers le froid	Standard (stocké pendant 10 jours) --> converti en Infrequent Access	La durée de stockage n'est pas recalculée après la conversion. Le nombre de jours de stockage avant la conversion est pris en compte pour la durée minimale de stockage de la nouvelle classe.	Frais de capacité pour 10 jours de stockage Standard	Conservez les données dans la classe de stockage Infrequent Access pendant 20 jours supplémentaires
  	Infrequent Access (stocké pendant 10 jours) --> converti en Archive		Frais de capacité pour 10 jours de stockage Infrequent Access	Conservez les données dans la classe de stockage Archive pendant 50 jours supplémentaires
  	Standard (stocké pendant 10 jours) --> converti en Cold Archive	La durée de stockage est recalculée après la conversion. Le nombre de jours de stockage avant la conversion n'est pas pris en compte pour la durée minimale de stockage de la nouvelle classe.	Frais de capacité pour 10 jours de stockage Standard	Conservez les données dans la classe de stockage Cold Archive pendant 180 jours supplémentaires
  	Standard (stocké pendant 10 jours) --> converti en Deep Cold Archive		Frais de capacité pour 10 jours de stockage Standard	Conservez les données dans la classe de stockage Deep Cold Archive pendant 180 jours supplémentaires
  Du froid vers le chaud	Cold Archive (stocké pendant 10 jours) --> converti en Infrequent Access		Frais de capacité pour 10 jours de stockage Cold Archive	Conservez les données dans la classe de stockage Cold Archive pendant 170 jours supplémentaires, puis convertissez-les en Infrequent Access Une fois les données converties en classe de stockage Infrequent Access, conservez-les pendant 30 jours supplémentaires

Procédure

1. Connectez-vous à l'instance ECS. Pour plus d'informations, consultez la rubrique Se connecter à une instance.

2. Téléchargez le SDK JindoFS.

3. Configurez la clé d'accès et les variables d'environnement.

   1. Accédez au répertoire bin du package JAR JindoFS installé.

      L'exemple suivant utilise jindofs-sdk-x.x.x-linux. Si vous utilisez une autre version de JindoSDK, remplacez le nom du package JAR en conséquence.

      cd jindofs-sdk-x.x.x-linux/bin/

   2. Créez un fichier de configuration nommé jindofs.cfg dans le répertoire bin, puis ajoutez-y les éléments de configuration suivants.

      [client]
      <!-- Configure the AccessKey ID and AccessKey secret used to access OSS-HDFS. -->
      fs.oss.accessKeyId = yourAccessKeyId    
      fs.oss.accessKeySecret = yourAccessKeySecret
      <!-- The following example uses the China (Hangzhou) region. Replace it with the actual region. -->
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com                                     

   3. Définissez la variable d'environnement.

      Remarque

      Pour <JINDOSDK_CONF_DIR>, saisissez le chemin absolu du répertoire contenant le fichier de configuration jindofs.cfg.

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

4. Configurez une politique de stockage pour les données écrites dans OSS-HDFS.

   Scénario	Commande	Résultat
   Définir la politique de stockage des données écrites dans OSS-HDFS sur Infrequent Access	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	Les blocs de données des fichiers du répertoire dir1/ sont étiquetés avec la clé transition-storage-class et la valeur IA.
   Définir la politique de stockage des données écrites dans OSS-HDFS sur Archive	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	Les blocs de données des fichiers du répertoire dir2/ sont étiquetés avec la clé transition-storage-class et la valeur Archive.
   Définir la politique de stockage des données écrites dans OSS-HDFS sur Cold Archive	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	Les blocs de données des fichiers du répertoire dir3/ sont étiquetés avec la clé transition-storage-class et la valeur ColdArchive.
   Définir la politique de stockage des données écrites dans OSS-HDFS sur Deep Cold Archive	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir4 -policy CLOUD_DEEP_COLD_AR	Les blocs de données des fichiers du répertoire dir4/ sont étiquetés avec la clé transition-storage-class et la valeur DeepColdArchive.

5. Activez le stockage hiérarchisé.

   1. Connectez-vous à la console OSS.

   2. Dans le volet de navigation de gauche, cliquez sur Buckets, puis cliquez sur le bucket cible.

   3. Dans le volet de navigation de gauche, choisissez Data Lake > OSS-HDFS.

   4. Sous l'onglet OSS-HDFS, cliquez sur Settings pour le stockage hiérarchisé.

   5. Dans la section Basic Settings du panneau Automatic Storage Tiering, activez l'interrupteur d'état.

      Un message s'affiche en haut de la page : le stockage hiérarchisé est mis en œuvre via la création d'une règle de cycle de vie spécifique. Cette règle est préconfigurée et ne peut pas être modifiée. Les classes de stockage hiérarchisé incluent Infrequent Access, Archive, Cold Archive et Deep Cold Archive.

      Afin d'éviter tout dysfonctionnement du stockage hiérarchisé dû à des erreurs de configuration, OSS crée automatiquement une règle de cycle de vie qui inclut les quatre politiques suivantes :

      • Les données du répertoire de stockage de données OSS-HDFS .dlsdata/ étiquetées avec la clé transition-storage-class et la valeur IA sont converties en classe de stockage Infrequent Access après 1 jour.

      • Les données du répertoire de stockage de données OSS-HDFS .dlsdata/ étiquetées avec la clé transition-storage-class et la valeur Archive sont converties en classe de stockage Archive après 1 jour.

      • Les données du répertoire de stockage de données OSS-HDFS .dlsdata/ étiquetées avec la clé transition-storage-class et la valeur ColdArchive sont converties en classe de stockage Cold Archive après 1 jour.

      • Les données du répertoire de stockage de données OSS-HDFS .dlsdata/ étiquetées avec la clé transition-storage-class et la valeur DeepColdArchive sont converties en classe de stockage Deep Cold Archive après 1 jour.

      Important

      Une fois le stockage hiérarchisé activé, une règle de cycle de vie est automatiquement créée. Cette règle comprend quatre politiques qui convertissent les données vers les classes de stockage Infrequent Access, Archive, Cold Archive et Deep Cold Archive. Ne modifiez pas cette règle. Sinon, les données et services OSS-HDFS pourraient devenir anormaux.

   6. Cliquez sur OK.

      • OSS-HDFS applique la politique de conversion correspondante de la règle de cycle de vie en fonction de la politique de stockage configurée.

      • OSS charge la règle dans les 24 heures suivant sa création. Une fois la règle chargée, OSS l'exécute quotidiennement à partir de 08:00 (UTC+8). L'heure d'exécution exacte dépend du nombre de fichiers, et la conversion des données vers la classe de stockage spécifiée intervient au plus tôt sous 48 heures.

Commandes associées

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

./jindofs fs -getStoragePolicy -path <path>

./jindofs fs -unsetStoragePolicy -path <path>

./jindofs fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

FAQ

• Que faire si je supprime accidentellement la règle de cycle de vie pour le stockage hiérarchisé OSS-HDFS ?

• OSS-HDFS prend-il en charge la conversion des objets Archive ou Cold Archive vers la classe de stockage Standard ou Infrequent Access ?

Références

• Présentation des classes de stockage

• Frais de stockage