ossutil advanced commands and filter options - Object Storage Service

Configurez les options avancées d'ossutil pour les opérations par lot, le filtrage, la gestion des métadonnées et le contrôle des transferts.

Descriptions des commandes

Portée de la commande	Options prises en charge
Toutes les commandes avancées	--encoding-type string : Encodage des noms d'objets ou de fichiers en entrée. Valeur valide : url. --request-payer string : Active le mode « paiement à la demande ». Définissez sur `requester`.
Commandes prenant en charge les opérations par lot	--start-after/--end-with (, ] : Filtre de plage de clés. Début exclusif, fin inclusive. options de filtrage : Filtrage par nom d'objet/fichier, dossier, taille, date ou métadonnées. Options de filtrage. --limited-num : Limite le nombre de résultats renvoyés par requête API. --recursive/-r : Parcourt tous les sous-répertoires de manière récursive. --dirs/-d : Liste uniquement le répertoire courant, en excluant les sous-répertoires. Remarque Pour les objets, cette option utilise la méthode Delimiter et analyse tous les objets sous le préfixe. Plus il y a d'objets, plus l'analyse est longue. --force/-f : Force l'exécution de l'opération sans demande de confirmation. --list-objects : Utilise l'API ListObjects pour lister les objets.
Commandes prenant en charge les règles de filtrage de destination	--update : Compare uniquement la date de modification. Synchronise uniquement lorsque la source est plus récente que la destination. --size-only : Compare uniquement la taille du fichier. Synchronise uniquement les données dont la taille diffère. --checksum : Compare d'abord la taille du fichier, puis la somme de contrôle CRC-64. Si la somme de contrôle est absente d'un côté ou de l'autre, les fichiers sont considérés comme incohérents. Valide uniquement pour les copies d'objet à objet. --ignore-existing : Ignore les fichiers existants.
Commandes prenant en charge les objets uniques	--version-id string : ID de version de l'objet.
Commandes prenant en charge le mode liste	--list-format : Format du fichier de liste. Valeurs valides : plain et inventory. --list-manifest-from : Lit la description du format du fichier de liste depuis un fichier. Ce paramètre est requis lorsque le format du fichier de liste est inventory.

Options locales

Option locale

Type d'option

Description

--encoding-type

string

Encodage des noms d'objets ou de fichiers en entrée. Valeur valide : url.

--request-payer

string

Active le mode « paiement à la demande ». Valeur valide : requester.

--start-after

string

Renvoie les objets classés par ordre alphabétique après la valeur spécifiée (exclusif).

--end-with

string

Renvoie les objets classés par ordre alphabétique jusqu'à la valeur spécifiée (inclusif).

--page-size

int

Nombre maximal d'objets par page lors du traitement par lot. Valeur par défaut : 1000. Plage : 1 à 1000.

--include

stringArray

Règle d'inclusion pour les chemins ou les noms de fichiers.

--include-from

stringArray

Lit les règles d'inclusion depuis un fichier de règles.

--exclude

stringArray

Règle d'exclusion pour les chemins ou les noms de fichiers.

--exclude-from

stringArray

Lit les règles d'exclusion depuis un fichier de règles.

--filter

stringArray

Règle de filtrage pour les chemins ou les noms de fichiers.

--files-from

stringArray

Lit une liste de noms de fichiers sources depuis un fichier. Les lignes vides ou les commentaires sont ignorés. S'applique uniquement aux opérations de filtrage de fichiers.

--files-from-raw

stringArray

Lit une liste de noms de fichiers sources depuis un fichier. S'applique uniquement aux opérations de filtrage de fichiers.

--max-age

Duration

Ignore les fichiers plus anciens que cet âge. Unité par défaut : secondes. Prend en charge les suffixes : ms, s, m, h, d, w, M, y. Par défaut : désactivé.

--min-age

Duration

Ignore les fichiers plus récents que cet âge. Unité par défaut : secondes. Prend en charge les suffixes : ms, s, m, h, d, w, M, y. Par défaut : désactivé.

--max-mtime

Time

Ignore les fichiers plus récents que cet horodatage UTC. Par défaut : désactivé.

--min-mtime

Time

Ignore les fichiers plus anciens que cet horodatage UTC. Par défaut : désactivé.

--max-size

SizeSuffix

Taille maximale de fichier à transférer. Unité par défaut : octets. Prend en charge les suffixes : B, K, M, G, T, P. 1 K (KiB) = 1024 B.

--min-size

SizeSuffix

Taille minimale de fichier à transférer. Unité par défaut : octets. Prend en charge les suffixes : B, K, M, G, T, P. 1 K (KiB) = 1024 B.

--metadata-exclude

stringArray

Règle d'exclusion pour les métadonnées d'objet.

--metadata-include

stringArray

Règle d'inclusion pour les métadonnées d'objet.

--metadata-filter

stringArray

Règle de filtrage pour les métadonnées d'objet.

--metadata-filter-from

stringArray

Lit les règles de filtrage des métadonnées d'objet depuis un fichier de règles.

--checksum

Copie uniquement les fichiers sources dont la taille et la somme de contrôle (si elle existe) sont incohérentes.

--size-only

Copie uniquement les fichiers sources dont la taille est incohérente.

-u, --update

Copie uniquement les fichiers sources plus récents que les fichiers de destination.

-r, --recursive

Opère sur tous les objets correspondants dans le bucket de manière récursive. Sans cette option, l'opération s'applique uniquement au chemin spécifié.

-d, --dirs

Liste uniquement les fichiers et sous-répertoires du dossier actuel, sans récursivité.

-f, --force

Force l'exécution de l'opération sans demande de confirmation.

--list-objects

Utilise l'API ListObjects pour lister les objets.

--no-progress

N'affiche pas la barre de progression.

-j, --job

int

Tâches concurrentes pour les opérations multi-fichiers. Valeur par défaut : 3.

--checkers

int

Vérificateurs parallèles. Valeur par défaut : 16.

--parallel

int

Tâches concurrentes pour les opérations multipart sur un seul fichier.

--part-size

SizeSuffix

Taille des parties pour les opérations multipart. Calcul automatique par défaut. Plage : 100 KiB à 5 GiB.

--bigfile-threshold

int

Seuil de taille pour le téléchargement, le téléversement ou la copie multipart. Valeur par défaut : 104857600 (100 MiB).

--version-id

string

ID de version de l'objet.

--storage-class

string

Classe de stockage de l'objet. Valeurs valides : Standard, IA, Archive, ColdArchive et DeepColdArchive.

--acl

string

Autorisations d'accès de l'objet. Valeurs valides : private, public-read, public-read-write et default.

--cache-control

string

Contrôle le comportement de mise en cache du navigateur lors du téléchargement de l'objet.

--content-disposition

string

Format d'affichage de l'objet.

--content-encoding

string

Encodage du contenu de l'objet.

--content-type

string

Type de contenu de l'objet.

--expires

string

Date d'expiration absolue pour le contenu mis en cache.

--copy-props

string

Propriétés à copier depuis l'objet source. Valeurs valides : none, metadata, default.

--tagging

string

Tags d'objet au format clé=valeur.

--tagging-directive

string

Méthode de définition des tags de l'objet de destination. Valeurs valides : COPY, REPLACE.

--metadata

string

Métadonnées utilisateur au format clé=valeur.

--metadata-directive

string

Méthode de définition des métadonnées de l'objet de destination. Valeurs valides : COPY, REPLACE.

--list-format

string

Format du fichier de liste. Valeurs valides : plain et inventory.

--list-manifest-from

string

Lit la description du format du fichier de liste depuis un fichier. Ce paramètre est requis lorsque le format du fichier de liste est inventory.

Options de filtrage

Les options de filtrage s'appliquent aux commandes par lot (ls, cp, sync, rm). Filtrez par chemin/nom de fichier, liste de fichiers, date de modification, taille de fichier ou métadonnées d'objet.

Les options de filtrage sont disponibles uniquement en ligne de commande, et non dans les fichiers de configuration.

Testez vos configurations de filtrage avec ls ou --dry-run/-n avant d'appliquer les modifications.

Filtrage par chemin/nom de fichier

Définissez des règles de filtrage pour spécifier les fichiers à inclure ou à exclure par nom ou par chemin.

Vous pouvez définir des règles à l'aide des options --include et --exclude. Par exemple, --include=".txt" et --exclude="".

Spécifiez les règles via des options en ligne de commande ou des fichiers de règles. Plusieurs règles forment une liste ordonnée qui filtre les résultats selon ces principes :

Les règles sont traitées dans l'ordre. Les paramètres d'une commande sont traités de gauche à droite, et les règles d'un fichier sont traitées de haut en bas.
Chaque fichier ou chemin est vérifié par rapport aux règles pour déterminer s'il doit être inclus ou exclu.
Les règles sont vérifiées dans l'ordre. La vérification s'arrête dès qu'une règle correspond.
Si aucune règle ne correspond, le fichier ou le chemin est inclus par défaut.
Sur un système de fichiers local, si un dossier est exclu, tous ses sous-dossiers et fichiers sont également exclus.
Étant donné que les buckets n'ont pas de structure de dossiers, chaque objet est filtré individuellement.

Des motifs de correspondance glob (globbing) sont utilisés. Voici les règles courantes pour les motifs glob :

Si un motif commence par /, il doit correspondre au début du chemin. Sinon, il peut correspondre à un nom à n'importe quel niveau du chemin.
Si un motif se termine par /, il correspond uniquement aux dossiers. Sinon, il peut correspondre aux dossiers ou aux fichiers. Par exemple, dir/.
Le caractère / représente un séparateur de chemin. Par exemple, subdir/test.txt.
* correspond à n'importe quelle chaîne de caractères de n'importe quelle longueur, mais ne correspond pas à /. Par exemple, *.txt.
Si un motif se termine par **, il correspond à n'importe quelle chaîne de caractères de n'importe quelle longueur, y compris /. Par exemple, dir/** correspond au chemin "dir/subdir/xx/test.txt".
? correspond à n'importe quel caractère unique sauf /.
[] correspond à un seul caractère d'une classe spécifique. Par exemple, [a-z] correspond à une lettre minuscule et [0-9] correspond à un chiffre.
Par défaut, un motif doit correspondre au nom complet du fichier ou du dossier. Par exemple, foo correspond à "foo" et "dir/foo", mais pas à "dir/foo1" ou "foo/xx".
Le motif doit correspondre à un nom de dossier ou de fichier complet, et non à une partie d'un nom. Par exemple, foo ne correspond pas à "xxx/afoo", et abc/foo ne correspond pas à "subdir/aabc/foo".

Remarque

Sous Windows, utilisez / comme séparateur de chemin, et non \.

Créez une liste ordonnée de règles de filtrage de chemins et de noms de fichiers en spécifiant une ou plusieurs des syntaxes et paramètres suivants en ligne de commande :

Élément	Description
Syntaxe des règles de filtrage	rule pattern rule option parameter : Un motif de correspondance glob. rule filename rule option parameter : Le chemin d'un fichier contenant des règles de correspondance glob. rule modifiers pattern rule option parameter : Une instruction de motif de correspondance glob. L'instruction `+` indique une règle d'inclusion. Les objets correspondant à cette règle sont inclus dans le résultat. L'instruction `-` indique une règle d'exclusion. Les objets correspondant à cette règle sont exclus du résultat.
Paramètres d'option de règle de filtrage	--include --include-from --exclude --exclude-from --filter --filter-from

Le tableau suivant décrit les options courantes :

Option

Description

--include

--exclude

Le paramètre est suivi d'un motif de correspondance. Chaque option représente une règle. Pour utiliser plusieurs règles, répétez ces options.

Par exemple, --include ".txt" --include ".js" --exclude "*.jpg" inclut tous les fichiers .txt et .js, mais exclut tous les fichiers .jpg.

La commande suivante télécharge de manière récursive les fichiers correspondant aux règles de filtrage depuis le dossier oss://examplebucket/exampledir/ dans Alibaba Cloud OSS vers le dossier localdir/. Les règles incluent tous les fichiers .txt et .js, mais excluent tous les fichiers .jpg.

ossutil cp -r oss://examplebucket/exampledir/ localdir/ --include "*.txt" --include "*.js" --exclude "*.jpg"

--filter

Le paramètre est suivi d'un motif de correspondance avec instruction. Chaque valeur d'option représente une règle. Pour utiliser plusieurs règles, répétez ces options.

Par exemple, --filter "+ .txt" --filter "+ .js" --filter "- *.jpg" inclut tous les fichiers .txt et .js, mais exclut tous les fichiers .jpg.

Le symbole + indique une règle d'inclusion. Les objets correspondant à cette règle sont inclus dans le résultat.
Le symbole - indique une règle d'exclusion. Les objets correspondant à cette règle sont exclus du résultat.

La commande suivante télécharge de manière récursive les fichiers correspondant aux règles de filtrage depuis le dossier oss://examplebucket/exampledir/ dans Alibaba Cloud OSS vers le dossier localdir/. Les règles excluent les fichiers .txt et .js, et incluent uniquement les fichiers .png.

ossutil cp -r oss://examplebucket/exampledir/ localdir/ --filter "- *.txt" --filter "- *.js" --filter "+ *.png"

--include-from

--exclude-from

Le paramètre est suivi d'un chemin de fichier de règles. Chaque ligne du fichier de règles représente un motif de correspondance glob. Pour importer plusieurs fichiers de règles, répétez ces options.

Toutes les règles importées avec --include-from sont des règles d'inclusion. Toutes les règles importées avec --exclude-from sont des règles d'exclusion.

Par exemple, --include-from include-file.txt --exclude-from exclude-file.txt inclut tous les fichiers .txt et .js, mais exclut tous les fichiers .jpg.

Le contenu du fichier de règles include-file.txt est le suivant :

 *.txt
 *.js

Le fichier de règles include-file.txt contient ce qui suit :

 *.jpg

--filter-from

Le paramètre est suivi d'un chemin de fichier de règles. Chaque ligne du fichier de règles représente un motif de correspondance glob avec instruction.

Pour importer plusieurs fichiers de règles, répétez ces options.

Par exemple, dans --filter-from filter-file.txt, le contenu du fichier de règles filter-file.txt est le suivant :

 # a filter rule file
     + *.txt
     + *.js
     - **

Informations complémentaires :

Lorsque vous lisez des règles depuis un fichier, elles sont traitées de haut en bas. Les lignes vides et les lignes de commentaire commençant par # ou ; sont ignorées.
Si le chemin du fichier est -, les règles sont lues depuis l'entrée standard (stdin). Vous ne pouvez spécifier cette option qu'une seule fois.
Si vous utilisez la règle --include ou --include-from, une règle - ** est ajoutée à la fin de la liste des règles.
Si vous utilisez --filter + pattern, une règle - ** n'est pas ajoutée à la fin de la liste des règles.

Par exemple, pour configurer une règle qui inclut uniquement les fichiers avec l'extension .jpg en utilisant --filter, vous devez spécifier --filter "+ *.jpg" --filter "- **".

Remarque

Vous ne pouvez pas utiliser les options --filter ou --filter-from en combinaison avec les options --include, --include-from, --exclude ou --exclude-from.

Filtrage par liste de chemins/fichiers

Spécifiez une liste de chemins ou de noms de fichiers à l'aide d'options en ligne de commande. Les options prises en charge sont les suivantes :

Option

Description

--files-from

Lit une liste de chemins/noms de fichiers depuis un fichier. Vous pouvez répéter cette option pour utiliser plusieurs fichiers de liste.

Lors du traitement de chaque ligne du fichier de liste, les espaces de début ou de fin sont supprimés, et les lignes de commentaire commençant par # ou ; sont ignorées.

--files-from-raw

Lit une liste de chemins/noms de fichiers depuis un fichier. Vous pouvez répéter cette option pour utiliser plusieurs fichiers de liste.

Lors du traitement de chaque ligne du fichier de liste, les espaces de début ou de fin et les lignes de commentaire commençant par # ou ; ne sont pas ignorés.

Remarque

Si vous spécifiez une liste de chemins ou de fichiers à faire correspondre, les autres règles de correspondance de motifs sont ignorées.

Filtrage par date de fichier

Filtrez par date de dernière modification pour transférer uniquement les fichiers dans une plage de temps spécifique.

Les filtres temporels prennent en charge les modes relatif et absolu :

Paramètre		Description
--min-age	Duration	Traite uniquement les fichiers modifiés avant l'intervalle spécifié. Unité par défaut : secondes. Prend en charge les suffixes d'unité, par ex. 1h. Remarque `--min-age 1h` signifie traiter les fichiers modifiés il y a 1 heure ou plus.
--max-age	Duration	Traite uniquement les fichiers modifiés dans l'intervalle spécifié. Unité par défaut : secondes. Prend en charge les suffixes d'unité, par ex. 1h. Remarque `--max-age 1h` signifie traiter les fichiers modifiés au cours de la dernière heure.
--min-mtime	Time	Traite uniquement les fichiers modifiés après l'heure spécifiée. Remarque `--min-mtime "2006-01-02T15:04:05"` signifie traiter les fichiers modifiés après 15:04:05 le 2 janvier 2006 (fuseau horaire local).
--max-mtime	Time	Traite uniquement les fichiers modifiés avant l'heure spécifiée. Remarque `--max-mtime "2006-01-02T15:04:05"` signifie traiter les fichiers modifiés avant 15:04:05 le 2 janvier 2006 (fuseau horaire local).

Informations complémentaires :

Suffixes d'unité pris en charge pour --min-age et --max-age : ms (millisecondes), s (secondes), m (minutes), h (heures), d (jours), w (semaines), M (mois), y (années).
Les valeurs décimales sont prises en charge, par ex. 1,5d pour un jour et demi.
Formats d'heure pris en charge pour --min-mtime et --max-mtime : 2006-01-02T15:04:05Z07:00 (RFC3339), 2006-01-02T15:04:05, 2006-01-02 15:04:05, 2006-01-02.
Lorsque l'heure inclut un fuseau horaire (par ex., se terminant par Z ou +08:00), ce fuseau horaire est utilisé. Lorsqu'aucun fuseau horaire n'est spécifié, le fuseau horaire local de l'environnement d'exécution est utilisé pour l'analyse.

Exemple : Liste les fichiers ou objets âgés de plus de 3 jours.

ossutil ls oss://bucket/ --min-age 3d

Filtrage par taille de fichier

Filtrez par taille de fichier pour transférer uniquement les fichiers dans une plage de taille spécifique.

Paramètres de configuration :

Paramètre

Description

--min-size

Ignore les fichiers plus petits que cette taille. Unité par défaut : octets. Exemple : 1K (KiB) = 1024 octets.

--max-size

Ignore les fichiers plus grands que cette taille. Unité par défaut : octets. Exemple : 1K (KiB) = 1024 octets.

Informations complémentaires :

Suffixes pris en charge : K (KiB) = 1024 octets, M (MiB), G (GiB), T (TiB), P (PiB), E (EiB).
Les valeurs décimales sont prises en charge, par ex. 0,5K.

Exemple : Liste les fichiers ou objets de 1 MiB ou moins.

ossutil ls oss://bucket/ --max-size 1M

Filtrage par règles de correspondance de métadonnées d'objet

Les filtres de métadonnées fonctionnent comme les filtres de chemin/nom de fichier, mais s'appliquent uniquement aux objets de bucket.

Définissez les métadonnées sous la forme key=value avec des motifs glob pour la correspondance.

Les options de configuration suivantes sont prises en charge :

--metadata-include
--metadata-exclude
--metadata-filter
--metadata-filter-from

Les métadonnées d'objet suivantes sont prises en charge :

Classe de stockage : Utilisez x-oss-storage-class=value. Les valeurs valides pour value sont Standard, IA, Archive, ColdArchive et DeepColdArchive.
Type d'objet : Utilisez x-oss-object-type=value. Les valeurs valides pour value sont Normal, Multipart, Appendable et Symlink.
Statut de restauration : Utilisez x-oss-restore=value. Définissez value selon vos besoins.
Content-Type : Utilisez content-type=value. Définissez value selon vos besoins.
Métadonnées définies par l'utilisateur : Utilisez x-oss-meta-aaa=value, où aaa est en minuscules. Définissez value selon vos besoins.

Exemple : Liste les objets dont la classe de stockage est Archive, Cold Archive ou Deep Cold Archive.

ossutil ls oss://bucket/ --metadata-include "x-oss-storage-class=*Archive"