Use tiered-storage commands of JindoFS - E-MapReduce - Centre de documentation Alibaba Cloud

Disponible dans E-MapReduce (EMR) V3.30, le stockage hiérarchisé de JindoFS permet de déplacer des données entre les classes de stockage Object Storage Service (OSS) — Standard, Infrequent Access (IA), Archive et Cold Archive — et le cache disque local. Cette fonctionnalité vous aide à équilibrer la vitesse d'accès et le coût de stockage.

Toutes les commandes de stockage hiérarchisé sont asynchrones. Chaque commande lance une tâche en arrière-plan au lieu d'exécuter l'opération immédiatement. Utilisez la commande status pour surveiller la progression.

Aperçu des commandes

Commande	Fonction
`cache`	Copie les données sur le disque local pour accélérer les lectures
`uncache`	Supprime la copie locale ; les données restent dans OSS Standard
`archive`	Déplace les données vers OSS IA, Archive ou Cold Archive
`unarchive`	Restaure les données archivées vers OSS IA ou Standard
`status`	Affiche la progression des tâches de stockage hiérarchisé
`ls2`	Liste les fichiers avec leur classe de stockage actuelle

Pour afficher l'aide intégrée, exécutez :

jindo jfs -help archive

Cache

Copie les données situées au chemin spécifié sur le disque local. Les lectures suivantes sont servies depuis le disque local plutôt que depuis OSS, ce qui réduit la latence de lecture pour les données fréquemment consultées.

jindo jfs -cache -p <path>

L'option -p épingle la copie locale afin qu'elle ne soit pas expulsée en fonction de l'utilisation du disque.

Utilisez cache pour les jeux de données lus de manière répétée, tels que les tables de faits dans les requêtes comportant de nombreuses jointures ou l'ensemble de travail des tâches prioritaires.

Uncache

Supprime la copie sur le disque local. Les données restent accessibles depuis le stockage OSS Standard.

jindo jfs -uncache <path>

Recourez à cette commande lorsqu'un jeu de données n'est plus consulté fréquemment et que vous devez libérer de l'espace sur le disque local.

Option	Classe de stockage cible
`-i`	OSS Infrequent Access (IA)
`-a`	OSS Archive
`-c`	OSS Cold Archive

Unarchive

Convertit les données du stockage Archive vers une classe de stockage plus accessible. Par défaut (sans option spécifiée), les données sont restaurées vers le stockage OSS Standard.

jindo jfs -unarchive -i/-o <path>

Option	Comportement
(aucune)	Restaure les données vers le stockage OSS Standard
`-i`	Restaure les données vers le stockage OSS Infrequent Access (IA)
`-o`	Désarchive temporairement les données du stockage OSS Archive ; les données deviennent lisibles pendant un jour

Status

Affiche la progression d'une tâche de stockage hiérarchisé pour le chemin spécifié. Par défaut, le rapport indique le nombre de fichiers ciblés par le stockage hiérarchisé dans le répertoire et les données auxquelles le stockage hiérarchisé a été appliqué.

jindo jfs -status -detail/-sync <path>

Option	Comportement
`-detail`	Affiche la progression du stockage fichier par fichier
`-sync`	Bloque l'exécution jusqu'à la fin de la tâche de stockage hiérarchisé

ls2

Liste les fichiers situés au chemin spécifié ainsi que leur classe de stockage actuelle, en étendant la sortie standard de hadoop fs -ls.

hadoop fs -ls2 <path>

Exemple de sortie :

drwxrwxrwx  - -         0    2020-06-05 04:27 oss://xxxx/warehouse
-rw-rw-rw-  1 Archive   1484 2020-09-23 16:40 oss://xxxx/wikipedia_data.csv
-rw-rw-rw-  1 Standard  1676 2020-06-07 20:04 oss://xxxx/wikipedia_data.json

La troisième colonne indique la classe de stockage de chaque fichier.