Manage data flows for CPFS for Lingjun - Cloud Parallel File Storage: Central de Documentação do Alibaba Cloud

Para transferir dados entre um sistema de arquivos CPFS for Lingjun e um bucket do Object Storage Service (OSS), crie um fluxo de dados. Este tópico descreve como criar e gerenciar fluxos de dados do CPFS for Lingjun no console do NAS.

Pré-requisitos

Para evitar conflitos de dados quando vários fluxos de dados exportam dados para o mesmo bucket do OSS, ative o versionamento do bucket. Para mais informações, consulte Introduction to versioning.

Limitações

Fluxos de dados na mesma conta exigem o CPFS for Lingjun 2.4.0 ou posterior. Fluxos de dados entre contas exigem a versão 2.6.0 ou posterior.
Máximo de 10 fluxos de dados por sistema de arquivos CPFS for Lingjun.
Cada caminho do sistema de arquivos suporta apenas um bucket do OSS vinculado.
Fluxos de dados não podem abranger regiões diferentes.

Para mais informações sobre os limites do recurso de fluxo de dados, consulte Limitations.

Criar um fluxo de dados na mesma conta

Acesse o console do NAS.
No painel de navegação à esquerda, escolha File System > File System List.
Na barra de navegação superior, selecione uma região.
Na página File System List, clique em nome do sistema de arquivos.
Na página de detalhes do sistema de arquivos, clique em Dataflow.
Na aba Dataflow, clique em Create Dataflow.

Na caixa de diálogo Create Dataflow, configure os seguintes parâmetros.

Parâmetro	Descrição
CPFS File System Path	O caminho no sistema de arquivos CPFS for Lingjun para associar ao bucket do OSS. Restrições: De 1 a 1.023 caracteres. Deve começar e terminar com uma barra (/).
OSS Bucket	O bucket do OSS de origem para associar ao caminho do sistema de arquivos CPFS for Lingjun. Selecione Select a bucket in the current account e escolha o nome do bucket do OSS de destino na lista suspensa.
Prefixo do objeto do OSS	O caminho dentro do bucket do OSS para usar como origem do fluxo de dados. Restrições: De 1 a 1.023 caracteres. Deve começar e terminar com uma barra (/). O prefixo já deve existir no bucket do OSS.
OSS Bucket SSL	Define se o acesso ao OSS usa HTTPS.
OSS Bucket Tag	Adicione a tag `cpfs-dataflow: true` ao bucket do OSS antes de criar o fluxo de dados. Não exclua nem modifique essa tag enquanto o fluxo de dados estiver em uso. Caso contrário, o fluxo de dados do sistema de arquivos CPFS for Lingjun não conseguirá acessar os dados no bucket. Como adicionar uma tag Acesse o bucket de destino. No painel de navegação à esquerda, escolha Bucket Settings > Bucket Tagging. Clique em Create Tag. Insira `cpfs-dataflow` como chave da tag e `true` como valor da tag. Clique em Save para adicionar a tag e retorne ao console do NAS para continuar a criação do fluxo de dados.
SLR Authorization	Ao clicar em Create Dataflow pela primeira vez, autorize a função vinculada ao serviço que permite ao CPFS acessar recursos no Object Storage Service (OSS). Para mais informações, consulte File Storage CPFS service-linked role.

Clique em OK.

Após clicar em OK, o sistema verifica sua configuração. Esse processo leva de 1 a 2 minutos. A caixa de diálogo fecha automaticamente após a conclusão da verificação. Não feche a caixa de diálogo manualmente.

Criar um fluxo de dados entre contas

Se precisar mover dados de um bucket do OSS na Conta B para um sistema de arquivos CPFS for Lingjun na Conta A, faça login primeiro na Conta B para autorizar o AliyunNasCrossAccountDataFlowDefaultRole e adicionar o UID da Conta A à política de confiança da função. Em seguida, faça login na Conta A para criar o fluxo de dados entre contas e as tarefas de importação ou exportação de dados.

Esta seção usa como exemplo um fluxo de dados entre um sistema de arquivos CPFS for Lingjun na conta A da Alibaba Cloud e um bucket do OSS na Conta B.

Procedimento

Conceda permissões usando a Conta B (proprietária do bucket do OSS).
1. Faça login no console do NAS usando a Conta B.
2. Na página Overview, na seção References, clique em Authorization Management.
3. No painel Authorization Management, na seção Cross-account Authorization on Data Flows, clique em Authorize Now.
4. Clique em Authorize.
5. Retorne ao painel Authorization Management no console do NAS. Na seção Cross-account Authorization on Data Flows, clique em View Details para acessar a página de detalhes do AliyunNasCrossAccountDataFlowDefaultRole.
6. Na aba Trust Policy, clique em Edit Trust Policy.
7. Modifique o campo Service para <UID of Alibaba Cloud account A>@nas.aliyuncs.com.
  
  Por exemplo, se o UID da conta A da Alibaba Cloud for 178321033379****, altere o valor de Service de nas.aliyuncs.com para 178321033379****@nas.aliyuncs.com. Isso indica que o serviço de fluxo de dados da conta A da Alibaba Cloud (178321033379****@nas.aliyuncs.com) pode assumir essa função.
```
{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "178321033379****@nas.aliyuncs.com" 
        ]
      }
    }
  ],
  "Version": "1"
}
```

Crie o fluxo de dados entre contas usando a Conta A.

Faça login no console do NAS usando a Conta A.
No painel de navegação à esquerda, escolha File System > File System List.
Na barra de navegação superior, selecione uma região.
Na página File System List, clique em nome do sistema de arquivos.
Na página de detalhes do sistema de arquivos, clique em Dataflow.
Na aba Dataflow, clique em Create Dataflow.

Na caixa de diálogo Create Dataflow, configure os seguintes parâmetros.

Parâmetro	Descrição
CPFS File System Path	O caminho no sistema de arquivos CPFS for Lingjun para associar ao bucket do OSS. Restrições: De 1 a 1.023 caracteres. Deve começar e terminar com uma barra (/).
OSS Bucket	O bucket do OSS de origem para associar ao caminho do sistema de arquivos CPFS for Lingjun. Selecione Specify a bucket in another account. Insira o UID da conta proprietária do bucket do OSS de origem no campo Account ID e insira o nome do bucket do OSS de origem no campo Bucket Name.
Prefixo do objeto do OSS	O caminho dentro do bucket do OSS para usar como origem do fluxo de dados. Restrições: De 1 a 1.023 caracteres. Deve começar e terminar com uma barra (/). O prefixo já deve existir no bucket do OSS.
OSS Bucket SSL	Define se o acesso ao OSS usa HTTPS.

Clique em OK.

Após clicar em OK, o sistema verifica sua configuração. Esse processo leva de 1 a 2 minutos. A caixa de diálogo fecha automaticamente após a conclusão da verificação. Não feche a caixa de diálogo manualmente.

Operações relacionadas

Após criar um fluxo de dados, visualize a configuração, atualize a descrição e exclua o fluxo no console.

Ações	Descrição	Etapas
Visualize um fluxo de dados	Visualize os fluxos de dados criados e crie tarefas de fluxo de dados para um fluxo específico.	Na aba Dataflow, visualize a configuração de um fluxo de dados específico.
Edite um fluxo de dados	Edite apenas a descrição de um fluxo de dados.	Na aba Dataflow, localize o fluxo de dados de destino. Clique em Modify e atualize a descrição. Clique em OK.
Excluir um fluxo de dados	Excluir um fluxo de dados remove todas as tarefas associadas e interrompe a sincronização de dados. Importante Não é possível excluir um fluxo de dados se ele tiver trabalhos de streaming ou em lote em execução.	Na aba Dataflow, localize o fluxo de dados de destino. Clique em Delete. Na mensagem de confirmação, clique em OK.

Próximos passos

Após criar um fluxo de dados, crie tarefas de exportação ou importação conforme necessário para transferir dados entre o sistema de arquivos CPFS for Lingjun e o bucket do OSS. Para mais informações, consulte Create a task.