Le traitement par lots permet d'effectuer des opérations à grande échelle sur les objets existants d'un bucket. Par exemple, vous pouvez convertir tous les objets .docx d'un répertoire spécifique au format PDF, ou transcoder tous les objets MOV au format MP4.
Les nouvelles API et SDK de traitement des données sont disponibles dans les régions disposant d'un endpoint IMM.
Précautions
Une tâche de traitement par lots génère une tâche de traitement des données correspondante pour chaque objet répondant aux conditions spécifiées. Testez votre configuration sur un petit ensemble d'objets en utilisant un préfixe plus spécifique afin de vérifier le résultat.
La suspension d'une tâche de traitement par lots arrête immédiatement la création de nouvelles tâches de traitement des données. Toutefois, les tâches déjà soumises continuent de s'exécuter jusqu'à leur achèvement.
Afin d'éviter tout comportement inattendu, tel qu'un traitement récursif ou l'écrasement des objets source, le chemin d'entrée ne doit pas être un préfixe du chemin de sortie.
Le chemin de sortie ne peut pas se terminer par une barre oblique (
/). Spécifiez un chemin complet pour l'objet de sortie, y compris l'extension. Le nom de l'objet peut inclure des variables. Pour plus d'informations sur les variables, consultez la rubrique Variables.Si le chemin de sortie ne se termine pas par
/, le nom de fichier doit contenir au moins une variable. Dans le cas contraire, plusieurs fichiers de sortie s'écraseront mutuellement.Lorsque vous utilisez les variables {key}, {barename} ou {basename} dans le chemin de sortie, assurez-vous que ce dernier diffère du chemin d'entrée. Sinon, les objets source risquent d'être écrasés ou de déclencher un traitement récursif.
Créer une tâche de traitement par lots
Connectez-vous à la console OSS.
Dans le volet de navigation de gauche, cliquez sur Buckets, puis sur le bucket cible.
Dans le volet de navigation de gauche, choisissez data processing.
Selon le type d'objets à traiter, choisissez Document Processing, Media Processing ou une autre fonctionnalité de traitement des données fournie par Intelligent Media Management (IMM). Cette rubrique utilise le traitement de documents comme exemple.
Cliquez sur l'onglet Batch Processing, puis sur Create Batch Processing.
-
Dans le panneau Create Batch Processing, configurez les paramètres des sections Input Configuration, Output Configuration, Permission Configuration et Notification Configuration.
Paramètre
Description
Bucket d'entrée
Bucket contenant les objets source de la tâche de traitement par lots.
mode
Sélectionnez Select File ou Select a Prefix.
-
Select File : Traite un ou plusieurs objets spécifiques.
-
Select a Prefix : Traite tous les objets d'un répertoire spécifié qui correspondent à une règle de filtrage.
Chemin d'entrée
Si vous définissez mode sur Select File, sélectionnez un ou plusieurs objets source à traiter.
Préfixe de chemin
Si vous définissez mode sur Select a Prefix, spécifiez un préfixe de chemin pour identifier le répertoire contenant les objets source. Vous pouvez utiliser une règle de filtrage pour affiner davantage la sélection des objets à traiter.
Règle de filtrage
Si vous définissez mode sur Select a Prefix, vous pouvez utiliser une règle de filtrage conjointement avec le préfixe de chemin pour sélectionner les objets à traiter.
-
All : Traite tous les objets du répertoire spécifié par le préfixe de chemin.
-
File Prefix : Traite les objets du répertoire spécifié dont les noms correspondent à un préfixe donné. Pour spécifier plusieurs préfixes, séparez-les par des virgules (,).
-
File Suffix : Traite les objets du répertoire spécifié dont les noms correspondent à un suffixe donné. Pour spécifier plusieurs suffixes, séparez-les par des virgules (,).
Style
Sélectionnez un style de traitement pour les objets. Si aucun style n'est disponible, cliquez sur Add Style dans la liste déroulante pour en créer un nouveau.
Chemin de sortie
Spécifiez le chemin de stockage des objets traités.
Le chemin ne peut pas se terminer par une barre oblique (
/). Utilisez des variables dans le chemin de sortie pour éviter que les sorties de plusieurs tâches ne s'écrasent mutuellement. Pour plus d'informations, consultez Variables.service role
Le rôle de service qui accorde à Intelligent Media Management (IMM) l'autorisation d'accéder à d'autres ressources cloud, telles qu'OSS. Nous vous recommandons d'utiliser le rôle de service
AliyunIMMBatchTriggerRole. Si ce rôle n'existe pas, créez-le sur la page Cloud Resource Access Authorization.message queue
Lorsqu'une tâche est terminée, une notification contenant le résultat du traitement est envoyée au topic MNS spécifié. Pour plus d'informations, consultez Overview.
-
-
Cliquez sur OK.
Après la création d'une tâche de traitement par lots, le système génère une tâche de traitement des données pour chaque objet source. L'exécution de ces tâches est facturée. Pour plus d'informations, consultez la rubrique Facturation.
Interroger une tâche de traitement par lots
Connectez-vous à la console OSS.
Dans le volet de navigation de gauche, cliquez sur Buckets, puis sur le bucket cible.
Dans le volet de navigation de gauche, choisissez data processing.
Selon le type d'objet, choisissez Document Processing, Media Processing ou une autre fonctionnalité de traitement des données fournie par Intelligent Media Management (IMM).
-
Cliquez sur l'onglet Batch Processing pour afficher la liste des tâches de traitement par lots. Utilisez les commandes de pagination en bas de page pour naviguer dans la liste.
Le tableau suivant décrit les statuts des tâches.
Statut
Description
Ready
La tâche est prête à s'exécuter. Les tâches nouvellement créées sont dans cet état.
Running
La tâche est en cours d'exécution.
Succeeded
La tâche s'est terminée avec succès.
Suspended
La tâche est suspendue.
Failed
La tâche a échoué en raison d'une erreur irrécupérable.
Dans la zone de recherche Batch Processing ID, saisissez un ID de tâche et cliquez sur l'icône de recherche pour trouver une tâche spécifique.
Dans la colonne actions, cliquez sur View Details pour afficher les détails d'une tâche de traitement par lots.
Cliquez sur l'icône d'expansion à côté d'un ID de tâche pour afficher toutes les tâches associées. Vous pouvez rechercher des tâches par chemin d'objet source ou par statut. Dans la colonne actions d'une tâche, cliquez sur View Details pour afficher ses détails.