Use o processamento em lote para executar operações em grande escala em objetos existentes em um bucket. Por exemplo, converta todos os objetos .docx de um diretório específico para o formato PDF ou transcodifique todos os objetos MOV para o formato MP4.
As novas APIs e SDKs de processamento de dados estão disponíveis nas regiões que possuem um endpoint do IMM.
Precauções
Um trabalho de processamento em lote gera uma tarefa de processamento de dados correspondente para cada objeto que atenda às condições especificadas. Recomendamos testar a configuração em um pequeno conjunto de objetos, usando um prefixo mais específico, para validar o resultado antes da execução completa.
A suspensão de um trabalho de processamento em lote interrompe imediatamente a criação de novas tarefas de processamento de dados. No entanto, as tarefas já enviadas continuam em execução até a conclusão.
Para evitar comportamentos inesperados, como processamento recursivo e sobrescrita de objetos source, o caminho de entrada não deve ser um prefixo do caminho de saída.
O caminho de saída não pode terminar com uma barra (
/). Especifique o caminho completo do objeto de saída, incluindo a extensão. O nome do objeto pode conter variáveis. Para mais informações sobre variáveis, consulte Variáveis.Se o caminho de saída não terminar com
/, o nome do arquivo deverá conter pelo menos uma variável. Caso contrário, múltiplos arquivos de saída se sobrescreverão.Ao usar as variáveis {key}, {barename} ou {basename} no caminho de saída, certifique-se de que ele seja diferente do caminho de entrada. Do contrário, objetos source podem ser sobrescritos ou desencadear um processamento recursivo.
Criar um trabalho de processamento em lote
Faça login no console do OSS.
No painel de navegação à esquerda, clique em Buckets e, em seguida, clique no bucket desejado.
No painel de navegação à esquerda, escolha data processing.
De acordo com o tipo de objeto a ser processado, escolha Document Processing, Media Processing ou outro recurso de processamento de dados fornecido pelo Intelligent Media Management (IMM). Este tópico usa o processamento de documentos como exemplo.
Clique na aba Batch Processing e, depois, clique em Create Batch Processing.
-
No painel Create Batch Processing, configure as opções nas seções Input Configuration, Output Configuration, Permission Configuration e Notification Configuration.
Parâmetro
Descrição
Bucket de entrada
Bucket que contém os objetos source para o trabalho de processamento em lote.
mode
Selecione Select File ou Select a Prefix.
-
Select File: processa um ou mais objetos específicos.
-
Select a Prefix: processa todos os objetos em um diretório especificado que correspondam a uma regra de filtro.
Caminho de entrada
Se você definir mode como Select File, selecione um ou mais objetos source para processamento.
Prefixo do caminho
Ao definir mode como Select a Prefix, especifique um prefixo de caminho para identificar o diretório que contém os objetos source. Use uma regra de filtro para refinar ainda mais quais objetos serão processados.
Regra de filtro
Quando mode estiver definido como Select a Prefix, use uma regra de filtro junto com o prefixo do caminho para selecionar os objetos a serem processados.
-
All: processa todos os objetos no diretório especificado pelo prefixo do caminho.
-
File Prefix: processa objetos no diretório especificado cujos nomes correspondam a um prefixo específico. Para especificar vários prefixos, separe-os por vírgulas (,).
-
File Suffix: processa objetos no diretório especificado cujos nomes correspondam a um sufixo específico. Para especificar vários sufixos, separe-os por vírgulas (,).
Estilo
Selecione um estilo de processamento para os objetos. Se nenhum estilo estiver disponível, clique em Add Style na lista suspensa para criar um novo.
Caminho de saída
Especifique o caminho de armazenamento para os objetos processados.
O caminho não pode terminar com uma barra (
/). Use variáveis no caminho de saída para evitar que as saídas de múltiplas tarefas se sobrescrevam. Para mais informações, consulte Variáveis.service role
Função de serviço que concede permissão ao Intelligent Media Management (IMM) para acessar outros recursos da nuvem, como o OSS. Recomendamos o uso da função de serviço
AliyunIMMBatchTriggerRole. Se essa função não existir, crie-a na página de Autorização de Acesso a Recursos da Nuvem.message queue
Após a conclusão de uma tarefa, o sistema envia uma notificação com o resultado do processamento ao tópico MNS especificado. Para mais informações, consulte Visão geral.
-
-
Clique em OK.
Após a criação do trabalho de processamento em lote, o sistema gera uma tarefa de processamento de dados para cada objeto source. A execução dessas tarefas gera cobranças. Para mais informações, consulte Faturamento.
Consultar um trabalho de processamento em lote
Faça login no console do OSS.
No painel de navegação à esquerda, clique em Buckets e, em seguida, clique no bucket desejado.
No painel de navegação à esquerda, escolha data processing.
Conforme o tipo de objeto, escolha Document Processing, Media Processing ou outro recurso de processamento de dados fornecido pelo Intelligent Media Management (IMM).
-
Clique na aba Batch Processing para visualizar a lista de trabalhos de processamento em lote. Use os controles de paginação na parte inferior da página para navegar pela lista.
A tabela a seguir descreve os status dos trabalhos.
Status
Descrição
Ready
O trabalho está pronto para execução. Trabalhos recém-criados encontram-se neste estado.
Running
O trabalho está em execução.
Succeeded
O trabalho foi concluído com êxito.
Suspended
O trabalho está suspenso.
Failed
O trabalho falhou devido a um erro irrecuperável.
Na caixa de pesquisa Batch Processing ID, insira um ID de trabalho e clique no ícone de pesquisa para localizar um trabalho específico.
Na coluna actions, clique em View Details para visualizar os detalhes de um trabalho de processamento em lote.
Clique no ícone de expansão ao lado de um ID de trabalho para visualizar todas as tarefas contidas nele. Pesquise tarefas pelo caminho do objeto source ou pelo status. Na coluna actions de uma tarefa, clique em View Details para ver seus detalhes.