Faça upload de arquivos, JARs ou outros resources para o EMR Serverless Spark, ou adicione diretórios de arquivos para que seus jobs possam acessá-los durante a execução.
Diretório de arquivos gerenciado vs. diretório de arquivos integrado
Diretório de arquivos gerenciado: Faça upload de arquivos locais pelo console para um espaço de armazenamento gerenciado pelo service e acesse-os diretamente durante a execução do job.
Diretório de arquivos integrado: Monte sistemas de arquivos externos, como OSS, NAS ou CPFS, em suas sessões de notebook e jobs para acessar os arquivos diretamente.
Limitações
Diretório de arquivos gerenciado
O tamanho máximo para um único arquivo enviado é de 500 MB.
Diretório de arquivos integrado
Um único workspace suporta no máximo 10 diretórios de arquivos integrados.
Não é possível montar diretórios de arquivos integrados para jobs enviados por meio do Kyuubi Gateway ou clusters Spark.
Um diretório de arquivos integrado CPFS não pode ser montado junto com outros tipos de diretórios de arquivos integrados (OSS ou NAS). Por exemplo, você pode montar vários diretórios OSS e NAS simultaneamente, mas não pode montar um diretório OSS e um diretório CPFS juntos.
Gerencie o diretório de arquivos gerenciado
Fazer upload de um arquivo
-
Acesse a página Artifacts.
Faça logon no console EMR.
No painel de navegação à esquerda, selecione .
Na página Spark, clique em nome do workspace desejado.
No painel de navegação à esquerda da página EMR Serverless Spark, clique em Artifacts.
Na aba Managed File Directory, clique em Upload File.
Na caixa de diálogo Upload File, clique em área de upload para selecionar um arquivo local ou arraste um arquivo para essa área.
Gerencie arquivos e pastas
Na aba Managed File Directory, gerencie os arquivos e pastas existentes:
-
Para arquivos, estão disponíveis as seguintes operações:
Download: Baixe o arquivo para sua máquina local.
Copy Address: Copia o caminho de acesso do arquivo.
Delete: Exclua o arquivo.
Para pastas, utilize as opções: New Folder, Rename Folder e Delete.
Gerencie o diretório de arquivos integrado
Após adicionar um diretório de arquivos integrado, os membros do workspace com permissões de edição de arquivos poderão editar arquivos e pastas em um diretório de arquivos OSS integrado pela página Artifacts. Membros com permissões de desenvolvimento de dados podem ler e gravar nesses arquivos e pastas durante seus jobs de desenvolvimento de dados.
Adicionar um diretório de arquivos
-
Acesse a página Artifacts.
Faça logon no console EMR.
No painel de navegação à esquerda, selecione .
Na página Spark, clique em nome do workspace desejado.
No painel de navegação à esquerda da página EMR Serverless Spark, clique em Artifacts.
Na aba Integrated File Directory, clique em Create Folder.
-
Na caixa de diálogo Create File Directory, configure os parâmetros a seguir e clique em OK.
OSS
Parâmetros para OSS:
Parâmetro
Descrição
Name
Nome do diretório de arquivos.
OSS Path
Selecione um caminho de armazenamento OSS. Certifique-se de que a função de execução do workspace tenha permissões para acessar esse caminho.
Mounted Path
Personalize este caminho conforme necessário, desde que esteja sob o caminho
/mnt.General-purpose NAS
Parâmetros para General-purpose NAS:
Parâmetro
Descrição
Name
Nome do diretório de arquivos.
File system
Selecione um sistema de arquivos General-purpose NAS. Verifique se a função de execução do workspace possui permissões para acessar o sistema de arquivos NAS.
Mount on
Configure um ponto de montagem para acessar o sistema de arquivos NAS.
File System Path
Especifique um caminho de armazenamento existente no sistema de arquivos NAS. Se deixar este parâmetro vazio, o diretório raiz será montado por padrão.
Mounted Path
Personalize este caminho conforme necessário, desde que esteja sob o caminho
/nas.CPFS for Lingjun
Parâmetros para CPFS for Lingjun:
Parâmetro
Descrição
Name
Nome do diretório de arquivos.
File system
Selecione um sistema de arquivos CPFS for AI Computing. Verifique se a função de execução do workspace possui permissões para acessar o sistema de arquivos CPFS.
Mount on
Configure um ponto de montagem para acessar o sistema de arquivos CPFS.
Mounted Path
Personalize este caminho conforme necessário, desde que esteja sob o caminho
/cpfs.Read-only
Esta opção vem desativada por padrão. Quando ativada, o diretório de arquivos torna-se somente leitura.
Exclua um diretório de arquivos
A exclusão de um diretório de arquivos remove apenas sua associação com o caminho correspondente no OSS, NAS ou CPFS. Os arquivos no caminho externo não são excluídos.
Na aba Integrated File Directory, localize o diretório que deseja excluir e clique em Delete na coluna Actions.
Clique em OK.
Próximas etapas
Utilize o diretório de arquivos gerenciado: Após fazer o upload dos arquivos, use-os como dependências ou fontes de dados em seus batch or streaming task.
Utilize o diretório de arquivos integrado: Depois de integrar um diretório, monte-o ao configurar notebook sessions, a batch or streaming task ou a Livy gateway task.