Quando você precisar transferir dados entre um sistema de arquivos CPFS for Lingjun(next-gen) e um bucket do OSS, crie um dataflow e crie tarefas de dataflow para ele. Isso permite a transferência de dados em alta velocidade.
Recursos
O CPFS for Lingjun(next-gen) oferece os seguintes recursos de dataflow:
-
Dataflow no nível da conta
É possível criar dataflows com buckets do OSS na mesma conta ou em contas diferentes.
-
Dataflow no nível do diretório
É possível criar um dataflow para mapear qualquer subdiretório de um sistema de arquivos CPFS for Lingjun(next-gen) para qualquer prefixo em um bucket do OSS, o que proporciona um controle de permissões mais refinado e uma transferência de dados mais flexível.
-
Importação e exportação de dados
-
Crie tarefas em lote para importar e exportar dados entre um sistema de arquivos CPFS for Lingjun(next-gen) e o OSS. As tarefas em lote são ideais para pré-carregar um conjunto de dados inteiro antes do início de um job de computação.
AvisoO CPFS for Lingjun(next-gen) exporta o atributo de carimbos de data/hora de modificação do arquivo para os metadados personalizados do bucket do OSS como
x-oss-meta-alihbr-sync-mtime. Não exclua nem modifique esses metadados; caso contrário, os carimbos de data/hora de modificação dos arquivos no sistema de arquivos ficarão incorretos. -
Se uma tarefa falhar, verifique o relatório da tarefa para identificar a causa.
ImportanteO relatório da tarefa serve apenas como referência. O resultado real após a conclusão do dataflow é o que prevalece. Você é responsável por verificar a consistência dos dados entre o source e o destino.
-
Tarefas em lote do dataflow
Uma tarefa em lote importa ou exporta todos os arquivos de um diretório de uma só vez. É ideal para pré-carregar um conjunto de dados inteiro antes do treinamento de IA.
Descrição da tarefa
As tarefas são classificadas em tipos de importação e exportação de acordo com a operação aplicada aos dados.
|
Tipo |
Descrição |
|
Importação |
Importa todos os dados do armazenamento source para o sistema de arquivos CPFS for Lingjun(next-gen) de uma só vez.
|
|
Exportação |
Exporta dados especificados do sistema de arquivos CPFS for Lingjun(next-gen) para um bucket do OSS de uma só vez. Caminho de exportação: o caminho de um arquivo ou diretório no sistema de arquivos CPFS for Lingjun(next-gen). As tarefas de dataflow exportam arquivos para o bucket com base em seus caminhos no sistema de arquivos. Aviso
|
Limitações
-
Dataflow
Um único sistema de arquivos CPFS for Lingjun(next-gen) suporta no máximo 10 dataflows.
Cada caminho de arquivo em um sistema de arquivos CPFS for Lingjun(next-gen) pode ser vinculado a apenas um bucket do OSS.
Um sistema de arquivos CPFS for Lingjun(next-gen) não pode criar dataflows com buckets do OSS em outras regiões.
-
Restrições de caminhos, nomes de arquivos e nomes de diretórios
Não renomeie um diretório não vazio em um caminho de sistema de arquivos associado a um dataflow; caso contrário, o sistema retornará um erro como
Permission Deniedou "directory not empty".-
Use caracteres especiais em nomes de diretórios e arquivos com cautela.
Há suporte para os seguintes caracteres especiais: letras maiúsculas e minúsculas, dígitos, pontos de exclamação (!), hifens (-), sublinhados (_), pontos (.), asteriscos (*) e parênteses (( e )).
-
Não há suporte para os seguintes caracteres especiais. O uso deles pode causar resultados inesperados ou falhas nas tarefas.
O nome de um subdiretório ou arquivo não pode ser "..".
Um caminho não pode conter barras invertidas (\) ou barras invertidas consecutivas (\\).
O nome de um subdiretório ou arquivo não pode conter barras normais (/).
Não há suporte para caminhos longos. O comprimento máximo de caminho suportado pelo dataflow é de 1.023 caracteres.
-
Restrições de tarefas do dataflow
Um único dataflow pode executar no máximo quatro tarefas em lote simultaneamente.
-
Restrições de importação
Quando um link simbólico (symlink) é importado para um sistema de arquivos CPFS for Lingjun(next-gen), ele se converte em um arquivo comum contendo os dados, e as informações do symlink são perdidas.
Se um bucket do OSS tiver várias versões, apenas a versão mais recente será copiada.
Os nomes de arquivos ou subdiretórios não podem exceder 255 bytes.
-
Restrições de exportação
Após a exportação de um symlink para o OSS, o arquivo para o qual ele aponta não é sincronizado; o symlink se torna um objeto comum e vazio.
Os hard links são exportados para o OSS apenas como arquivos comuns.
Arquivos de socket, dispositivo e pipe são exportados para um bucket do OSS como objetos comuns e vazios.
Os caminhos de diretórios não podem exceder 1.023 caracteres.
Métricas de desempenho
|
Operação |
Métrica |
Descrição |
|
Importação de dados |
Throughput para arquivos de 1 GB ou maiores |
Nota
O throughput real é limitado pelo menor valor entre a largura de banda do OSS e o throughput do CPFS for Lingjun. Para mais informações, consulte OSS bandwidth e Product specifications. O dataflow compartilha a largura de banda da VPC com outro tráfego de VPC (padrão: 10 GB/s de leitura e 5 GB/s de gravação por sistema de arquivos). O throughput real disponível depende da largura de banda restante da VPC. Os valores anteriores são valores de linha de base em um ambiente ideal. O desempenho real depende de fatores como tamanho do arquivo, número de arquivos e simultaneidade. |
|
Arquivos de nível de MB processados por segundo |
Importação de diretório único ou de vários diretórios: 1.000. |
|
|
Exportação de dados |
Throughput para arquivos de 1 GB ou maiores |
Nota
O throughput real é limitado pelo menor valor entre a largura de banda do OSS e o throughput do CPFS for Lingjun. Para mais informações, consulte OSS bandwidth e Product specifications. O dataflow compartilha a largura de banda da VPC com outro tráfego de VPC (padrão: 10 GB/s de leitura e 5 GB/s de gravação por sistema de arquivos). O throughput real disponível depende da largura de banda restante da VPC. Os valores anteriores são valores de linha de base em um ambiente ideal. O desempenho real depende de fatores como tamanho do arquivo, número de arquivos e simultaneidade. |
|
Arquivos de nível de MB processados por segundo |
Exportação de diretório único ou de vários diretórios: 1.200. |
Como alcançar um throughput maior
Aumente a capacidade: aumentar a capacidade de armazenamento do CPFS melhora diretamente o throughput de forma linear.
Aumente as cotas: se o gargalo da rede VPC for atingido (10 GB/s para leituras ou 5 GB/s para gravações), envie um ticket para solicitar um aumento na cota de largura de banda.
Por que a velocidade medida é menor que a linha de base
Verifique se o bucket do OSS possui políticas de limitação de largura de banda ou de taxa.
Verifique se cargas de trabalho intensivas de leitura/gravação no CPFS também estão competindo pela largura de banda do dataflow.
Verifique se a tarefa de dataflow envolve um grande número de operações com arquivos pequenos, muitos diretórios pequenos ou diretórios amplos contendo vários arquivos pequenos, o que reduz significativamente o throughput agregado.
Faturamento
O dataflow do CPFS for Lingjun(next-gen) está em preview público e é gratuito.
Procedimento
-
Crie um dataflow.
Para dataflow na mesma conta, consulte Crie um dataflow na mesma conta.
Para dataflow entre contas, consulte Crie um dataflow entre contas.
Crie uma tarefa em lote. Para mais informações, consulte Gerencie tarefas em lote.
-
Verifique os dados
Após a conclusão de uma tarefa de dataflow, verifique os dados no destino para garantir a precisão.
AvisoSe você excluir dados do source sem verificar se a transferência de dados para o destino está correta, será responsável por qualquer perda de dados e por todas as perdas e consequências resultantes.