Cloud Parallel File Storage:Gerenciar tarefas de dataflow

Pré-requisitos

• Um fileset CPFS foi criado. Para mais informações, consulte Crie um fileset.

• Um dataflow foi criado. Para mais informações, consulte Crie um dataflow.

Tarefas

• Tipos de tarefa

  • As tarefas são classificadas em três tipos conforme as operações de dados executadas: importação, exportação e evicção.

    Tipo	Descrição
    Import	Importa dados do armazenamento de source para um sistema de arquivos CPFS. Tipo de importação: há dois tipos de dados disponíveis para importação: Metadata e Data (MetaAndData). Metadata: importa apenas os metadados dos arquivos. Data: importa tanto os metadados quanto os dados dos arquivos. Caminho de importação: caminho de um arquivo no bucket OSS. A tarefa de dataflow importa o arquivo para o fileset com base nesse caminho. Se um arquivo ou diretório importado não tiver atributos de metadados POSIX, o proprietário padrão será root e a permissão padrão será 0770.
    Export	Exporta um diretório ou arquivo especificado de um fileset de dataflow para um bucket OSS. Caminho de exportação: caminho de um arquivo ou diretório no sistema de arquivos CPFS. A tarefa de dataflow exporta o arquivo para o bucket com base nesse caminho no fileset. Não é possível exportar diretórios vazios, hard links e links simbólicos para o OSS. Exportação de metadados: permite exportar os atributos CreateTime, ModifyTime, Ownership e Permission de um arquivo para um bucket OSS. O atributo ChangeTime, contudo, não é exportado. Aviso O CPFS exporta metadados para os metadados personalizados do bucket OSS, nomeados como x-oss-meta-afm-xxx. Não exclua nem modifique esses metadados para evitar erros no sistema de arquivos.
    Evict	Libera os dados de um arquivo no sistema de arquivos CPFS. Após a evicção, apenas os metadados permanecem no sistema. O arquivo continua visível, mas seus blocos de dados são limpos e deixam de ocupar espaço de armazenamento. Ao acessar o arquivo, os dados são carregados sob demanda do armazenamento de source, como o OSS. Nota Antes de evictar um arquivo, certifique-se de que a versão mais recente esteja disponível no bucket OSS.

  • Quanto ao iniciador, as tarefas dividem-se em tarefas de usuário e tarefas de sistema.

    Tipo	Descrição
    user task	Tarefa de dataflow criada no console ou mediante chamada à operação de API CreateDataFlowTask. Consulte as tarefas de usuário no painel Dataflow > Task Management do console. Após a conclusão de uma tarefa de usuário, o sistema gera um relatório e o salva no diretório .dataflow_report do sistema de arquivos CPFS.
    system task	Tarefa gerada automaticamente pelo CPFS após a ativação da Automatic Metadata Update. Sincroniza metadados atualizados de arquivos do bucket OSS para o CPFS. O sistema gera tarefas automáticas conforme o Metadata Refresh Interval (minutes) definido para sincronizar metadados atualizados do bucket OSS. Consulte as tarefas de sistema no painel Dataflow > Task Management do console. Tarefas de sistema não geram relatórios.

• Escopo de execução da tarefa

  O escopo pode abranger um diretório inteiro ou uma lista específica de arquivos (EntryList). Se for um diretório, a tarefa percorre todos os arquivos na árvore de diretórios.

Crie uma tarefa de dataflow

1. Faça login no console NAS.

2. No painel de navegação à esquerda, escolha File System > File System List.

3. Na barra de navegação superior, selecione uma região.

4. Na página File System List, clique em no nome do sistema de arquivos.

5. Na página de detalhes do sistema de arquivos, clique em Dataflow.

6. Na aba Dataflow, localize o dataflow desejado e clique em Task Management na coluna Actions.

7. No painel Task Management, clique em Create Job.

8. No painel Create Job, crie uma tarefa do tipo necessário e configure os parâmetros.

   Importar dados

   Parâmetro	Descrição
   Data Type	Selecione o tipo de dados a importar. Data: importa tanto os blocos de dados quanto os metadados dos arquivos. Metadata: importa apenas os metadados dos arquivos. Ao importar somente metadados, a consulta retorna apenas os nomes dos arquivos. Os dados são carregados sob demanda do armazenamento de source quando você acessa o arquivo.
   Specify OSS Object Prefix Subdirectory	Selecione o diretório ou a lista de arquivos para a tarefa de dataflow. Import Objects from OSS: o diretório OSS especificado deve começar e terminar com uma barra (/). Import Listed Objects: cada linha no arquivo especifica o caminho de um objeto no bucket OSS. Não há suporte para diretórios.

   Exportar dados

   • Não é possível exportar diretórios vazios, hard links e links simbólicos para um bucket OSS.

   • Permite exportar os atributos CreateTime, ModifyTime, Ownership e Permission de um arquivo para um bucket OSS. O atributo ChangeTime, porém, não é exportado.

   • O CPFS exporta metadados para os metadados personalizados do bucket OSS, nomeados como x-oss-meta-afm-xxx. Não exclua nem modifique esses metadados para evitar erros no sistema de arquivos.

     Parâmetro	Descrição
     Specify CPFS Subdirectory	Selecione o diretório ou a lista de arquivos para a tarefa de dataflow. Export Files from CPFS: o diretório deve começar e terminar com uma barra (/) e corresponder ao caminho no sistema de arquivos CPFS. Export Listed Files: cada linha no arquivo especifica o caminho de um arquivo no sistema de arquivos CPFS. Não há suporte para diretórios.

   Evict data

   Parâmetro	Descrição
   Delete File	Selecione o diretório ou a lista de arquivos para a tarefa de dataflow. Delete Files from CPFS: o diretório deve começar e terminar com uma barra (/). Delete Listed Files: cada linha no arquivo especifica o caminho de um arquivo no sistema de arquivos CPFS. Não há suporte para diretórios.

9. Revise a configuração e clique em OK.

   Nota

   Durante a execução de uma tarefa de dataflow criada pelo usuário, as atualizações automáticas desse dataflow ficam suspensas.

Visualize um relatório de tarefa

1. Faça login no console NAS.

2. No painel de navegação à esquerda, escolha File System > File System List.

3. Na barra de navegação superior, selecione uma região.

4. Na página File System List, clique em no nome do sistema de arquivos.

5. Na página de detalhes do sistema de arquivos, clique em Dataflow.

6. Na aba Dataflow, localize o dataflow desejado e clique em Task Management na coluna Actions.

7. No painel Task Management, localize a tarefa cujo relatório deseja visualize e clique em Report na coluna Actions.

8. Obtenha o caminho completo do relatório de tarefa e baixe-o.

   Nota

   • Relatórios são gerados apenas para tarefas de usuário. Tarefas de sistema não produzem relatórios.

   • Visualize o relatório após a conclusão da tarefa de usuário. O arquivo fica salvo no diretório .dataflow_report do sistema de arquivos CPFS.

   O código abaixo apresenta um exemplo de relatório de tarefa:

   SUMMARY,dataflowId,taskId,userId,fsId,startDate,endDate,total,succ,skip,failed,throughput_MBps
   FILE,path,status,size
   
   SUMMARY,df-0001,task-0001,1001,cpfs-1234,1632477577,1632477677,18,10,1,7,0.01
   FILE,test1/object1,cached,131072
   FILE,test1/object2,cached,131072

   Categoria	Campo	Descrição
   Estatísticas da tarefa (SUMMARY)	dataflowId	ID do dataflow.
   	taskId	ID da tarefa.
   	userId	ID do usuário.
   	fsId	ID do sistema de arquivos.
   	startDate	Horário de início da tarefa, em segundos desde a época UNIX.
   	endDate	Horário de término da tarefa, em segundos desde a época UNIX.
   	total	Número total de arquivos processados pela tarefa.
   	succ	Número de arquivos processados com sucesso.
   	skip	Número de arquivos ignorados (por exemplo, arquivos já importados anteriormente).
   	failed	Número de arquivos com falha no processamento.
   	throughput_MBps	Throughput médio durante a execução da tarefa, em MB/s.
   Informações do arquivo (FILE)	path	Caminho do arquivo no fileset.
   	status	Status do arquivo. cached: arquivo importado ou exportado. uncached: arquivo não importado. dirty: arquivo modificado no sistema de arquivos CPFS e ainda não exportado. NA: arquivo inexistente.
   	size	Tamanho do arquivo, em bytes.

Operações relacionadas