JindoTable collecte les statistiques d'accès fréquent sur les tables et les partitions, gère le stockage hiérarchisé et optimise l'organisation des tables au niveau de la couche de stockage.
Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :
Java Development Kit (JDK) 8 installé sur votre machine locale
Un cluster E-MapReduce (EMR) en version V3.30.0 ou ultérieure
Pour plus de détails sur la création d'un cluster EMR, consultez la rubrique Créer un cluster.
Commandes
JindoTable propose les commandes suivantes. Spécifiez les tables au format database.table et les partitions au format partitionCol1=1,partitionCol2=2,....
| Commande | Description |
|---|---|
| -accessStat | Interroge les tables ou partitions les plus fréquemment consultées dans une fenêtre temporelle donnée |
| -leastUseStat | Identifie les tables ou partitions restées inactives le plus longtemps |
| -cache | Met en cache les données d'une table ou d'une partition sur le disque local |
| -uncache | Supprime les données mises en cache d'une table ou d'une partition du disque local |
| -archive | Abaisse la classe de stockage des données d'une table ou d'une partition vers Archive ou Infrequent Access |
| -unarchive | Restaure les données archivées vers la classe de stockage Standard ou Infrequent Access |
| -status | Consulte le statut de stockage d'une table ou d'une partition |
| -optimize | Optimise l'organisation des données de la table au niveau de la couche de stockage |
| -showTable | Liste toutes les partitions d'une table partitionnée ou affiche les détails de stockage d'une table non partitionnée |
| -showPartition | Affiche les détails de stockage d'une partition spécifique |
| -listTables | Répertorie toutes les tables d'une base de données |
| -dumpmc | Exporte une table MaxCompute vers un cluster EMR ou Object Storage Service (OSS) |
Pour les opérations d'archivage en mode SDK et la migration de données, reportez-vous aux rubriques -archiveTable et -unarchiveTable ainsi qu'à -moveTo.
-accessStat
Interrogez les tables ou partitions les plus fréquemment consultées sur un nombre de jours donné, ainsi que leur nombre d'accès.
Syntaxe
jindo table -accessStat -d <days> [-n <topNums>]Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-d <days> |
Oui | — | Nombre de jours passés à inclure dans la requête. Doit être un entier positif. Si la valeur est définie sur 1, la requête couvre la période allant de 00:00 jusqu'à l'heure actuelle du jour en cours. |
-n <topNums> |
Non | Tous les résultats | Nombre de premiers résultats à renvoyer. Doit être un entier positif. |
Exemple
Interrogez les 20 tables ou partitions les plus consultées au cours des sept derniers jours :
jindo table -accessStat -d 7 -n 20-leastUseStat
Identifiez les tables ou partitions restées inactives le plus longtemps, classées selon le temps écoulé depuis le dernier accès.
Syntaxe
jindo table -leastUseStat -n <num> [-i | -ignoreNever]Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-n <num> |
Oui | — | Nombre de résultats à renvoyer. Doit être un entier positif. |
-i / -ignoreNever |
Non | Inclut tout | Lorsqu'il est spécifié, exclut les tables ou partitions qui n'ont jamais été consultées. |
Exemple
Interrogez les 20 tables ou partitions restées inactives le plus longtemps :
jindo table -leastUseStat -n 20-cache
Mettez en cache les données d'une table ou d'une partition depuis OSS ou JindoFS sur le disque local afin d'accélérer les lectures ultérieures.
Pour supprimer les données mises en cache, utilisez la commande -uncache.
Syntaxe
jindo table -cache -t <dbName.tableName> [-p <partitionSpec>] [-pin]Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-t <dbName.tableName> |
Oui | — | Table à mettre en cache. Les données doivent être stockées dans OSS ou JindoFS. |
-p <partitionSpec> |
Non | Table entière | Partition à mettre en cache. Format : partitionCol1=val1,partitionCol2=val2,... |
-pin |
Non | Non épinglé | Lorsqu'il est spécifié, empêche l'éviction des données mises en cache lorsque l'espace de cache devient insuffisant. |
Exemple
Mettez en cache la partition du 16 mars 2020 de la table db1.t1 sur le disque local :
jindo table -cache -t db1.t1 -p date=2020-03-16-uncache
Supprimez les données mises en cache d'une table ou d'une partition du disque local.
Pour mettre des données en cache, utilisez la commande -cache.
Syntaxe
jindo table -uncache -t <dbName.tableName> [-p <partitionSpec>]Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-t <dbName.tableName> |
Oui | — | Table dont les données mises en cache doivent être supprimées. Les données doivent être stockées dans OSS ou JindoFS. |
-p <partitionSpec> |
Non | Table entière | Partition dont les données mises en cache doivent être supprimées. Format : partitionCol1=val1,partitionCol2=val2,... |
Exemples
Supprimez les données mises en cache pour l'intégralité de la table db1.t2 :
jindo table -uncache -t db1.t2Supprimez les données mises en cache pour une partition spécifique de la table db1.t1 :
jindo table -uncache -t db1.t1 -p date=2020-03-16,category=1-archive
Abaissez la classe de stockage des données d'une table ou d'une partition. La cible par défaut est la classe de stockage Archive. Pour utiliser plutôt la classe Infrequent Access (IA), ajoutez l'option -i.
Pour restaurer des données archivées, utilisez la commande -unarchive. Pour l'archivage en mode SDK qui ne dépend pas du service Jindo Namespace, consultez la rubrique -archiveTable.
Syntaxe
jindo table -archive [-a | -i] -t <dbName.tableName> [-p <partitionSpec>]Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-t <dbName.tableName> |
Oui | — | Table à archiver. |
-a |
Non | Classe de stockage Archive | Lorsqu'elle est spécifiée, archive explicitement les données vers la classe de stockage Archive (comportement par défaut). |
-i |
Non | Classe de stockage Archive | Lorsqu'elle est spécifiée, archive les données vers la classe de stockage Infrequent Access (IA) au lieu de Archive. |
-p <partitionSpec> |
Non | Table entière | Partition à archiver. Format : partitionCol1=val1,partitionCol2=val2,... |
Exemple
Archivez la partition du 12 octobre 2020 de la table db1.t1 :
jindo table -archive -t db1.t1 -p date=2020-10-12-unarchive
Restaurez les données archivées d'une table ou d'une partition vers une classe de stockage supérieure.
Sans option : convertit les données archivées vers la classe de stockage Standard.
-o: restaure temporairement un objet archivé. L'objet reste dans la classe de stockage Archive après l'expiration de la fenêtre de restauration.-i: convertit un objet archivé vers la classe de stockage Infrequent Access (IA).
Pour archiver des données, utilisez la commande -archive.
Syntaxe
jindo table -unarchive [-o | -i] -t <dbName.tableName> [-p <partitionSpec>]Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-t <dbName.tableName> |
Oui | — | Table à désarchiver. |
-o |
Non | Standard | Restaure temporairement un objet archivé sans modifier définitivement sa classe de stockage. |
-i |
Non | Standard | Convertit les données archivées vers la classe de stockage Infrequent Access (IA). |
-p <partitionSpec> |
Non | Table entière | Partition à désarchiver. Format : partitionCol1=val1,partitionCol2=val2,... |
Exemples
Restaurez temporairement une partition spécifique de la table db1.t1 :
jindo table -unarchive -o -t db1.t1 -p date=2020-03-16,category=1Convertissez toutes les partitions de la table db1.t2 de la classe Archive vers Infrequent Access :
jindo table -unarchive -i -t db1.t2-status
Consultez le statut de stockage des données d'une table ou d'une partition.
Syntaxe
jindo table -status -t <dbName.tableName> [-p <partitionSpec>]Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-t <dbName.tableName> |
Oui | — | Table à inspecter. |
-p <partitionSpec> |
Non | Table entière | Partition à inspecter. Format : partitionCol1=val1,partitionCol2=val2,... |
Exemples
Consultez le statut de stockage de la table db1.t2 :
jindo table -status -t db1.t2Consultez le statut de stockage de la partition du 16 mars 2020 de la table db1.t1 :
jindo table -status -t db1.t1 -p date=2020-03-16-optimize
Optimisez l'organisation des données d'une table au niveau de la couche de stockage pour améliorer l'efficacité des lectures lors des requêtes en aval.
Syntaxe
jindo table -optimize -t <dbName.tableName>Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-t <dbName.tableName> |
Oui | — | Table à optimiser. |
Exemple
Optimisez la disposition de stockage de la table db1.t1 :
jindo table -optimize -t db1.t1-showTable
Pour une table partitionnée, liste toutes les partitions et leurs détails de stockage. Pour une table non partitionnée, affiche les détails de stockage de la table elle-même.
Syntaxe
jindo table -showTable -t <dbName.tableName>Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-t <dbName.tableName> |
Oui | — | Table à inspecter. |
Exemple
Listez toutes les partitions de la table db1.t1 :
jindo table -showTable -t db1.t1-showPartition
Affichez les détails de stockage d'une partition spécifique.
Syntaxe
jindo table -showPartition -t <dbName.tableName> [-p <partitionSpec>]Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-t <dbName.tableName> |
Oui | — | Table partitionnée à inspecter. |
-p <partitionSpec> |
Non | — | Partition à inspecter. Format : partitionCol1=val1,partitionCol2=val2,... |
Exemple
Affichez les détails de stockage de la partition du 12 octobre 2020 de la table db1.t1 :
jindo table -showPartition -t db1.t1 -p date=2020-10-12-listTables
Répertorie toutes les tables d'une base de données. Si aucune base de données n'est spécifiée, les tables de la base de données par défaut sont listées.
Syntaxe
jindo table -listTables [-db <dbName>]Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description |
|---|---|---|---|
-db <dbName> |
Non | Base de données par défaut | Base de données dont il faut lister les tables. |
Exemples
Listez les tables de la base de données par défaut :
jindo table -listTablesListez les tables de la base de données db1 :
jindo table -listTables -db db1-dumpmc
Exportez une table MaxCompute vers un cluster EMR ou OSS. Les formats de sortie pris en charge sont CSV et TFRECORD.
Ne codez pas en dur votre ID AccessKey et votre secret AccessKey dans les commandes. Utilisez plutôt des variables d'environnement ou un magasin d'identifiants sécurisé.
Syntaxe
jindo table -dumpmc -i <accessId> -k <accessKey> -m <numMaps> -t <tunnelUrl> -project <projectName> -table <tableName> [-p <partitionSpec>] -f <csv|tfrecord> -o <outputPath>Paramètres
| Paramètre | Obligatoire | Valeur par défaut | Description | |
|---|---|---|---|---|
-i <accessId> |
Oui | — | ID AccessKey de votre compte Alibaba Cloud. | |
-k <accessKey> |
Oui | — | Secret AccessKey de votre compte Alibaba Cloud. | |
-m <numMaps> |
Oui | — | Nombre de tâches map. | |
-t <tunnelUrl> |
Oui | — | Endpoint Tunnel du VPC où réside le projet MaxCompute. | |
-project <projectName> |
Oui | — | Nom du projet MaxCompute. | |
-table <tableName> |
Oui | — | Nom de la table MaxCompute. | |
-p <partitionSpec> |
Non | Toutes les partitions | Filtre de partition. Exemple : pt=xxx. Séparez plusieurs partitions par des virgules : pt=xxx,dt=xxx. |
|
| tfrecord>` | Oui | — |
Format de fichier de sortie. Valeurs valides : |
-o <outputPath> |
Oui | — | Chemin de sortie. Utilisez un chemin local (par exemple, /tmp/output) pour un cluster EMR, ou un chemin OSS (par exemple, oss://bucket/path) pour OSS. |
Exemples
Exportez une table MaxCompute au format TFRECORD vers un cluster EMR :
jindo table -dumpmc -m 10 -project mctest_project -table t1 \
-t http://dt.xxx.maxcompute.aliyun-inc.com \
-k xxxxxxxxx -i XXXXXX \
-o /tmp/outputtf1 -f tfrecordExportez une table MaxCompute au format CSV vers OSS :
jindo table -dumpmc -m 10 -project mctest_project -table t1 \
-t http://dt.xxx.maxcompute.aliyun-inc.com \
-k xxxxxxxxx -i XXXXXX \
-o oss://bucket1/tmp/outputcsv -f csv