Cloud Parallel File Storage:Dataflow for CPFS for Lingjun

Recursos

O CPFS for Lingjun oferece os seguintes recursos de dataflow:

• Dataflow no nível da conta

  Suporta dataflows na mesma conta e entre contas diferentes para buckets do OSS.

• Dataflow no nível de diretório

  Mapeie qualquer subdiretório de um sistema de arquivos CPFS for Lingjun para qualquer prefixo em um bucket do OSS. Isso permite controle granular de permissões e transferência flexível de dados.

• Importação e exportação de dados

  • Crie tarefas em lote ou de streaming para importar e exportar dados entre um sistema de arquivos CPFS for Lingjun e o OSS. As tarefas em lote pré-carregam todo o conjunto de dados antes do início de um job de computação. As tarefas de streaming realizam writeback sob demanda e pré-carregamento de arquivos individuais, como checkpoints de modelo, durante o treinamento.

    Aviso

    O CPFS for Lingjun exporta os timestamps de modificação de arquivos para metadados personalizados do OSS denominados x-oss-meta-alihbr-sync-mtime. Não exclua nem modifique esses metadados; caso contrário, os timestamps do sistema de arquivos ficarão incorretos.

  • Se uma tarefa falhar, consulte o relatório da tarefa para identificar a causa.

    Importante

    O relatório da tarefa serve apenas como referência. Os dados no destino representam a versão definitiva. Verifique a consistência dos dados entre a origem e o destino.

Tipos de tarefa de dataflow

O CPFS for Lingjun fornece dois tipos de tarefa de dataflow: tarefas em lote e tarefas de streaming.

Tarefa em lote

Uma tarefa em lote importa ou exporta todos os arquivos de um diretório de uma só vez. É ideal para pré-carregar conjuntos de dados inteiros antes do treinamento de IA.

Tarefa de streaming

Uma tarefa de streaming transfere arquivos individuais sob demanda, como checkpoints de modelo durante o treinamento. Envie uma subtarefa por meio de uma operação de API para acionar cada transferência. O sistema não sincroniza automaticamente as alterações nos arquivos.

Descrições das tarefas

Quatro tipos de tarefa estão disponíveis: importação, exportação, importação por streaming e exportação por streaming.

Limitações

• Dataflow

  • Os dataflows na mesma conta exigem o CPFS for Lingjun 2.4.0 ou posterior. Os dataflows entre contas exigem a versão 2.6.0 ou posterior.

  • Limite de 10 dataflows por sistema de arquivos CPFS for Lingjun.

  • Cada caminho do sistema de arquivos pode ser vinculado a apenas um bucket do OSS.

  • Os dataflows não podem abranger regiões diferentes.

• Restrições sobre caminhos, nomes de arquivos e nomes de diretórios

  • Renomear um diretório não vazio em um caminho associado a um dataflow retorna um erro de Permission Denied ou de diretório não vazio.

  • Tenha cautela ao usar caracteres especiais em nomes de diretórios e arquivos.

    • Os caracteres suportados incluem letras maiúsculas e minúsculas, números, pontos de exclamação (!), hifens (-), underscores (_), pontos (.), asteriscos (*) e parênteses (()).

    • Os caracteres a seguir não são suportados e podem causar falhas na tarefa:

      • Um nome de subdiretório ou arquivo não pode ser "..".

      • Um caminho não pode conter barras invertidas (\) ou barras invertidas consecutivas (\\).

      • Um nome de subdiretório ou arquivo não pode conter barras (/).

  • Comprimento máximo do caminho: 1.023 caracteres.

  • Limitações de tarefas de dataflow

    • As tarefas de streaming exigem o CPFS for Lingjun 2.6.0 ou posterior e estão disponíveis apenas via API.

    • Máximo de quatro tarefas em lote simultâneas por dataflow. Não há limite para tarefas de streaming simultâneas.

    • Limitações de importação

      • A importação de um link simbólico o converte em um arquivo de dados comum. As informações do link simbólico são perdidas.

      • Se o versionamento estiver ativado em um bucket do OSS, apenas a versão mais recente de um objeto será copiada.

      • Nomes de arquivos ou subdiretórios não podem exceder 255 bytes.

    • Limitações de exportação

      • Links simbólicos são exportados como objetos comuns e vazios. O arquivo vinculado não é sincronizado.

      • Hard links são exportados como arquivos comuns.

      • Arquivos do tipo Socket, Device e Pipe são exportados como objetos comuns e vazios.

      • Caminhos de diretório não podem exceder 1.023 caracteres.

  Métricas de desempenho

  Operação	Métrica	Descrição
  Importação de dados	Throughput para arquivos maiores que 1 GB	Throughput máximo de importação: 5 GB/s. Para solicitar um throughput maior, envie um ticket. Nota O throughput real é limitado pelo menor valor entre a largura de banda do OSS e o throughput do CPFS for Lingjun. Para obter detalhes, consulte Largura de banda do OSS e Especificações do CPFS for Lingjun. O Dataflow compartilha a largura de banda da VPC com outros acessos (padrão: 10 GB/s de leitura e 5 GB/s de escrita por sistema de arquivos). O throughput disponível depende da largura de banda restante da VPC. Os valores acima são linhas de base em condições ideais. O desempenho real varia conforme o tamanho do arquivo, a quantidade de arquivos e a concorrência.
  	IOPS para arquivos menores que 1 GB	Importação de diretório único ou múltiplos diretórios: 1.000.
  Exportação de dados	Throughput para arquivos maiores que 1 GB	Throughput máximo de exportação: 10 GB/s. Para solicitar um throughput maior, envie um ticket. Nota O throughput real é limitado pelo menor valor entre a largura de banda do OSS e o throughput do CPFS for Lingjun. Para obter detalhes, consulte Largura de banda do OSS e Especificações do CPFS for Lingjun. O Dataflow compartilha a largura de banda da VPC com outros acessos (padrão: 10 GB/s de leitura e 5 GB/s de escrita por sistema de arquivos). O throughput disponível depende da largura de banda restante da VPC. Os valores acima são linhas de base em condições ideais. O desempenho real varia conforme o tamanho do arquivo, a quantidade de arquivos e a concorrência.
  	IOPS para arquivos menores que 1 GB	Exportação de diretório único ou múltiplos diretórios: 1.200.

  Como obter maior throughput

  1. Expanda a capacidade: aumentar a capacidade de armazenamento de um sistema de arquivos CPFS for Lingjun melhora diretamente o throughput linear.

  2. Aumente as cotas: se você atingir o gargalo de rede da VPC (10 GB/s para leituras ou 5 GB/s para escritas), envie um ticket para solicitar um aumento na cota de largura de banda.

  Por que a velocidade real é inferior à linha de base

  1. Verifique se o bucket do OSS possui políticas de limitação de largura de banda ou taxa de transferência ativas.

  2. Confira se cargas intensas de leitura/escrita no sistema de arquivos CPFS for Lingjun estão competindo pela largura de banda do dataflow.

  3. Analise se a tarefa de dataflow envolve um grande volume de operações com arquivos pequenos, muitos diretórios pequenos ou diretórios amplos contendo diversos arquivos pequenos. Esses cenários reduzem significativamente o throughput agregado.

  Faturamento

  O Dataflow para CPFS for Lingjun está em visualização pública e é gratuito.

  Procedimento

  1. Crie um dataflow.

     • Mesma conta: Criar um dataflow na mesma conta.

     • Entre contas: Criar um dataflow entre contas.

  2. Crie uma tarefa em lote ou uma tarefa de streaming.

     • Streaming: Gerenciar tarefas de streaming (OpenAPI).

     • Lote: Gerenciar tarefas em lote.

  3. Verifique os dados.

     Após a conclusão da tarefa, valide a precisão dos dados no destino.

     Aviso

     Se você excluir os dados de origem sem verificar os dados de destino, será responsável por qualquer perda de dados resultante.