Cloud Parallel File Storage:Gerenciar tarefas em lote

Informações básicas

As tarefas de dataflow criadas no console são tarefas em lote. Uma tarefa em lote pode importar ou exportar todos os arquivos de um diretório para outro em uma única execução. Não é possível iniciar dataflows sob demanda para arquivos individuais. Para transferir dados por arquivo (tarefa de streaming), use operações da OpenAPI. Nas tarefas de streaming, chame explicitamente a API para criar uma subtarefa para cada arquivo específico e acionar a transferência de dados. Para mais informações, consulte Manage streaming tasks (OpenAPI).

Pré-requisitos

• Um dataflow foi criado. Para mais informações, consulte Create a dataflow within the same account ou Create a dataflow across accounts.

• O bucket do OSS de origem deve ter o versionamento ativado. Não suspenda o versionamento enquanto o dataflow estiver ativo; caso contrário, a tarefa de exportação falhará. Para mais informações, consulte Introduction to versioning.

Criar uma tarefa

1. Faça login no console NAS.

2. No painel de navegação à esquerda, escolha File System > File System List.

3. Na barra de navegação superior, selecione uma região.

4. Na página File System List, clique em nome do sistema de arquivos CPFS for Lingjun desejado.

5. Na página de detalhes do sistema de arquivos, clique em Dataflow.

6. Na página Dataflow, localize o dataflow desejado e clique em Task Management na coluna Actions.

7. No painel Task Management, clique em Create Job.

8. No painel Create Job, selecione o tipo de tarefa e configure os parâmetros.

   Importar dados

   • Ao importar um link simbólico para um sistema de arquivos CPFS for Lingjun, ele se converte em um arquivo regular contendo os dados de destino do link, e as informações originais do link são perdidas.

   • Se um bucket do OSS contiver várias versões de um objeto, apenas a versão mais recente será copiada.

   • Nomes de arquivos e subdiretórios com mais de 255 bytes não são suportados.

   • Nomes de diretórios e arquivos não podem conter os seguintes caracteres especiais. Caso contrário, a tarefa poderá produzir resultados inesperados ou falhar.

     • Nomes de subdiretórios ou arquivos não podem ser pontos duplos (..).

     • Caminhos não podem conter barras invertidas (\) ou barras invertidas consecutivas (\\).

     • Nomes de subdiretórios e arquivos não podem conter barras (/).

   • Se houver conflito entre o nome de um arquivo e o de um subdiretório, ocorrerá um conflito de objetos no sistema de arquivos CPFS for Lingjun. Apenas uma das operações terá sucesso garantido; a outra falhará.

   Parâmetro	Descrição
   Conflict Resolution Policy	Política que define como lidar com arquivos de mesmo nome presentes tanto no sistema de arquivos CPFS for Lingjun quanto no bucket do OSS. Skip Files with the Same Name (Default): Ignora arquivos com o mesmo nome e não os sincroniza. Keep the Latest File: Compara o horário de modificação (mtime) de arquivos com o mesmo nome e mantém a versão atualizada mais recentemente. Tanto o OSS quanto o CPFS for Lingjun usam o horário de modificação para comparação. Overwrite Files with the Same Name: Substitui o arquivo de destino pela versão do bucket do OSS. Selecione Use the source file to overwrite the existing file with the same name on the destination. Make sure that you have backed up key data.
   Data Type	Apenas o tipo Data + Metadata é suportado. Esta opção importa tanto os blocos de dados quanto os metadados dos arquivos.
   Specify OSS Object Prefix Subdirectory	Define o escopo da tarefa de importação. Dois modos são suportados: Import all files under this OSS directory: Importa todos os arquivos no subdiretório especificado. Insira um caminho relativo dentro do OSS Object Prefix que comece e termine com uma barra (/). Import files listed in a CSV file under this OSS directory: Importa apenas os arquivos listados em um arquivo CSV. Após selecionar este modo, configure o local da lista de arquivos CSV, que corresponde ao diretório do bucket do OSS onde o arquivo CSV está armazenado. O caminho deve começar e terminar com uma barra (/), ter entre 1 e 1.023 caracteres e pode conter apenas pontos de exclamação (!), hifens (-), underscores (_), pontos (.) e parênteses (()). Para requisitos de formato e um exemplo de lista de arquivos CSV, consulte CSV file list format. Nota Se o caminho do CPFS configurado durante a criação do dataflow não existir, selecione If the CPFS directory you created does not exist, the system automatically creates a CPFS directory. para evitar falhas na importação. A criação automática de diretórios é suportada apenas pelo CPFS for Lingjun 2.6.0 e versões posteriores.

   Exportar dados

   • O bucket do OSS de origem deve ter o versionamento ativado. Não suspenda o versionamento enquanto o dataflow estiver ativo; caso contrário, a tarefa de exportação falhará. Para mais informações, consulte Introduction to versioning.

   • Quando um link simbólico é sincronizado com o OSS, o sistema não sincroniza o arquivo apontado por ele. Em vez disso, o próprio link simbólico torna-se um objeto regular e vazio no OSS.

   • Um hard link é sincronizado com o OSS como um arquivo regular.

   • Arquivos do tipo Socket, Device ou Pipe não podem ser exportados para um bucket do OSS.

   • Caminhos de diretório com mais de 1.023 caracteres não são suportados.

   • Nomes de diretórios e arquivos não podem conter os seguintes caracteres especiais. Caso contrário, a tarefa poderá produzir resultados inesperados ou falhar.

     • Nomes de subdiretórios ou arquivos não podem ser pontos duplos (..).

     • Caminhos não podem conter barras invertidas (\) ou barras invertidas consecutivas (\\).

     • Nomes de subdiretórios e arquivos não podem conter barras (/).

   • O CPFS for Lingjun exporta os timestamps de modificação de arquivos para metadados personalizados do OSS denominados x-oss-meta-alihbr-sync-mtime. Não exclua nem modifique esses metadados, pois isso tornará os timestamps do sistema de arquivos incorretos.

   Parâmetro	Descrição
   Conflict Resolution Policy	Política que define como lidar com arquivos de mesmo nome presentes tanto no sistema de arquivos CPFS for Lingjun quanto no bucket do OSS. Skip Files with the Same Name (Default): Ignora arquivos com o mesmo nome e não os sincroniza. Keep the Latest File: Compara o horário de modificação (mtime) de arquivos com o mesmo nome e mantém a versão atualizada mais recentemente. Tanto o OSS quanto o CPFS for Lingjun usam o horário de modificação para comparação. Overwrite Files with the Same Name: Substitui o arquivo de destino pela versão do sistema de arquivos CPFS for Lingjun. Selecione Use the source file to overwrite the existing file with the same name on the destination. Make sure that you have backed up key data.
   Export Data Type	Apenas o tipo Data + Metadata é suportado. Esta opção exporta tanto os blocos de dados quanto os metadados dos arquivos.
   Specify CPFS Subdirectory	Define o escopo da tarefa de exportação. Dois modos são suportados: Export all files under this CPFS directory: Exporta todos os arquivos no subdiretório especificado. Insira um caminho relativo dentro do diretório CPFS que comece e termine com uma barra (/). Por exemplo, /cpfs/. Export all files listed in a CSV file: Exporta apenas os arquivos listados em um arquivo CSV. Após selecionar este modo, configure o local da lista de arquivos CSV, que corresponde ao diretório do bucket do OSS onde o arquivo CSV está armazenado. Note que, no cenário de exportação, o arquivo CSV também é armazenado no OSS. As regras de caminho são as mesmas do modo de importação. Para requisitos de formato e um exemplo de lista de arquivos CSV, consulte CSV file list format.

9. Clique em OK.

Cancelar uma tarefa

É possível cancelar uma tarefa de dataflow em execução.

1. Na aba Dataflow, localize o dataflow desejado e clique em Task Management na coluna Actions.

2. No painel Task Management, localize a tarefa desejada e clique em Cancel na coluna Actions.

3. Na mensagem de confirmação exibida, clique em OK.

Copiar uma tarefa

Copie uma tarefa para executá-la novamente.

1. Na aba Dataflow, localize o dataflow desejado e clique em Task Management na coluna Actions.

2. No painel Task Management, localize a tarefa desejada. Em seguida, clique em ícone na coluna Actions e selecione Copy.

3. Na mensagem de confirmação exibida, clique em OK.

Formato da lista de arquivos CSV

Ao importar dados no modo de lista de arquivos CSV, cada arquivo CSV deve atender aos seguintes requisitos de formato:

1. O arquivo deve conter uma coluna Name (sem distinção entre maiúsculas e minúsculas) que especifique o caminho relativo de cada arquivo ou diretório. Recomendamos incluir também uma coluna Size (em bytes) para melhorar o desempenho do fracionamento da tarefa. Caso contrário, o sistema envia uma requisição stat para cada arquivo a fim de obter seu tamanho.

2. A extensão do nome do arquivo deve ser .csv ou .csv.*. Arquivos com outras extensões são ignorados.

3. Armazene os arquivos CSV em oss://bucket/<oss_prefix>/<csv_file_dir>/. O sistema lê apenas os arquivos diretamente neste diretório e não percorre subdiretórios.

4. Se uma tarefa utilizar vários arquivos CSV, armazene todos eles no mesmo diretório.

Exemplo de arquivo CSV

Um caminho que termina com uma barra (/) indica um diretório. Caso contrário, indica um arquivo. A coluna Name é obrigatória e a linha de cabeçalho na primeira linha deve existir. Caso contrário, a tarefa retornará um erro.

Name,Size
/dir1/dir2/,0
/dir1/file1,1048576
/dir2/file,2097152

Visualizar a causa de uma falha na tarefa

Quando uma tarefa de dataflow falha, o sistema exibe a causa da falha ou gera um relatório de falhas. Visualize a causa ou baixe o relatório no console para solucionar o problema.

1. Na aba Dataflow, localize o dataflow desejado e clique em Task Management na coluna Actions.

2. No painel Task Management, localize a tarefa desejada. Passe o ponteiro do mouse sobre o ícone ao lado do status Failed para visualizar a causa ou baixar o relatório de falhas.

   Nota

   Se nenhuma causa de falha for exibida, nenhum relatório estiver disponível ou você não conseguir resolver o problema com base no relatório, para obter assistência.

Visualizar configuração e status da tarefa

Visualize a configuração e o status de uma tarefa em lote no console. Para visualizar esses detalhes de uma tarefa de streaming, chame a operação da API DescribeDataFlowTasks.

1. Na aba Dataflow, localize o dataflow desejado e clique em Task Management na coluna Actions.

2. No painel Task Management, visualize a configuração e o status de execução da tarefa.

   Parâmetro	Descrição
   ID da tarefa	Identificador exclusivo da tarefa de dataflow.
   Tipo	Tipo da tarefa. Valores válidos: Import ou Export.
   Política de resolução de conflitos	Política para lidar com dados de mesmo nome que já existem no sistema de arquivos de destino. Valores válidos: Skip Files with the Same Name (Default) Keep the Latest File Overwrite Files with the Same Name
   Endereço de origem	Origem, destino e caminhos específicos de subdiretórios para a transferência de dados.
   Endereço de destino
   Diretório de origem
   Total de dados verificados na origem	Quantidade de dados verificados na origem, em bytes.
   Dados sincronizados	Quantidade de dados sincronizados, incluindo dados ignorados, em bytes.
   Dados transferidos	Quantidade real de dados transferidos pela tarefa, em bytes.
   Velocidade média	Velocidade média de transferência da tarefa de dataflow. Unidade: B/s.
   Tempo restante	Tempo estimado restante até a conclusão da tarefa, com base na velocidade atual de transferência.
   Período	Horários de início e término da tarefa.
   Progresso	Progresso de execução da tarefa atual. Unidade: %.
   Status	Status atual da tarefa. Valores válidos: Pending: A tarefa de dataflow foi criada e está aguardando na fila. Executing: A tarefa de dataflow está em andamento. Failed: A tarefa de dataflow falhou. Canceled: A tarefa de dataflow foi cancelada e não foi concluída. Canceling: A tarefa de dataflow está sendo cancelada. Completed: A tarefa de dataflow foi concluída.
   Caminho da lista de arquivos	Diretório do bucket do OSS que armazena a lista de arquivos CSV. Este campo é exibido apenas para tarefas que utilizam o modo de lista de arquivos CSV. Para outras tarefas, este campo fica vazio.

Visualizar relatórios de tarefas

Após a conclusão de uma tarefa de dataflow, o sistema gera um Skipped File Report, Failed File Report ou Successful File Report, dependendo do resultado. Baixe o relatório no console para visualizar informações detalhadas sobre os arquivos.

1. Na aba Dataflow, localize o dataflow desejado e clique em Task Management na coluna Actions.

2. No painel Task Management, localize a tarefa desejada e clique em Download Task Report na coluna Actions.

3. Localize o relatório que deseja baixar e clique em ícone .

Visualizar desempenho da tarefa ou configurar regras de alerta

Para visualizar métricas de desempenho da tarefa ou configurar regras de alerta, certifique-se de usar um sistema de arquivos CPFS for Lingjun versão 2.6.0 ou posterior e de ter criado uma tarefa de dataflow.

• Para visualizar métricas principais de desempenho de tarefas de importação ou exportação de dataflow, como throughput de leitura/gravação, IOPS de leitura/gravação e QPS de metadados, consulte View CPFS performance metrics.

• Para configurar regras de alerta para métricas de monitoramento específicas de tarefas de dataflow e detectar e tratar exceções de métricas em tempo hábil, consulte Configure a basic alert rule.