Antes de executar um job, faça upload de recursos como arquivos e JARs ou adicione diretórios de arquivos ao EMR Serverless Spark. Assim, os jobs acessam esses recursos diretamente durante a execução.
Diretório de arquivos gerenciado vs. diretório de arquivos integrado
Diretório de arquivos gerenciado: Faça upload de arquivos locais pelo console para um espaço de armazenamento gerenciado pelo serviço. Acesse diretamente esses arquivos durante a execução do job.
Diretório de arquivos integrado: Monte sistemas de arquivos externos, como OSS, NAS ou CPFS, em sessões de notebook e jobs para acessar diretamente os arquivos nesses diretórios.
Limitações
Diretório de arquivos gerenciado
O tamanho máximo por arquivo enviado é 500 MB.
Diretório de arquivos integrado
Cada workspace aceita no máximo 10 diretórios de arquivos integrados.
Não é possível montar diretórios de arquivos integrados em jobs enviados pelo Kyuubi Gateway ou por clusters Spark.
Um diretório de arquivos integrado CPFS não pode ser montado simultaneamente com outros tipos de diretórios integrados (OSS ou NAS). Por exemplo, você pode montar vários diretórios OSS e NAS ao mesmo tempo, mas não pode combinar um diretório OSS com um CPFS.
Gerencie o diretório de arquivos gerenciado
Fazer upload de um arquivo
-
Acesse a página Artifacts.
Faça logon no console EMR.
No painel de navegação à esquerda, selecione .
Na página Spark, clique em nome do workspace desejado.
No painel de navegação à esquerda da página EMR Serverless Spark, clique em Artifacts.
Na aba Managed File Directory, clique em Upload File.
Na caixa de diálogo Upload File, clique em área de upload para selecionar um arquivo local ou arraste-o para essa área.
Gerencie arquivos e pastas
Na aba Managed File Directory, execute as seguintes operações em arquivos e pastas existentes:
-
Para arquivos, estão disponíveis as seguintes ações:
Download: Baixe o arquivo para sua máquina local.
Copy Address: Copie o caminho de acesso do arquivo.
Delete: Exclua o arquivo.
Para pastas, utilize as opções: New Folder, Rename Folder e Delete.
Gerencie o diretório de arquivos integrado
Após adicionar um diretório de arquivos integrado, membros com permissão de edição no workspace podem editar arquivos e pastas em um diretório OSS integrado pela página Artifacts. Membros com permissão de desenvolvimento de dados podem ler e gravar nesses arquivos e pastas durante os jobs de desenvolvimento.
Adicionar um diretório de arquivos
-
Acesse a página Artifacts.
Faça logon no console EMR.
No painel de navegação à esquerda, selecione .
Na página Spark, clique em nome do workspace desejado.
No painel de navegação à esquerda da página EMR Serverless Spark, clique em Artifacts.
Na aba Integrated File Directory, clique em Create Folder.
-
Na caixa de diálogo Create File Directory, configure os parâmetros abaixo e clique em OK.
OSS
A tabela a seguir descreve os parâmetros para OSS.
Parâmetro
Descrição
Name
Nome do diretório de arquivos.
OSS Path
Selecione um caminho de armazenamento OSS. Verifique se a função de execução do workspace tem permissão para acessar esse caminho.
Mounted Path
Personalize este caminho conforme necessário, desde que esteja sob o caminho
/mnt.General-purpose NAS
A tabela a seguir descreve os parâmetros para General-purpose NAS.
Parâmetro
Descrição
Name
Nome do diretório de arquivos.
File system
Selecione um sistema de arquivos General-purpose NAS. Verifique se a função de execução do workspace tem permissão para acessar o sistema de arquivos NAS.
Mount on
Configure um ponto de montagem para acessar o sistema de arquivos NAS.
File System Path
Especifique um caminho de armazenamento existente no sistema de arquivos NAS. Se deixar este parâmetro vazio, o diretório raiz será montado por padrão.
Mounted Path
Personalize este caminho conforme necessário, desde que esteja sob o caminho
/nas.CPFS for Lingjun
A tabela a seguir descreve os parâmetros para CPFS for Lingjun.
Parâmetro
Descrição
Name
Nome do diretório de arquivos.
File system
Selecione um sistema de arquivos CPFS for AI Computing. Verifique se a função de execução do workspace tem permissão para acessar o sistema de arquivos CPFS.
Mount on
Configure um ponto de montagem para acessar o sistema de arquivos CPFS.
Mounted Path
Personalize este caminho conforme necessário, desde que esteja sob o caminho
/cpfs.Read-only
Esta opção vem desativada por padrão. Ao ativá-la, o diretório de arquivos torna-se somente leitura.
Exclua um diretório de arquivos
A exclusão de um diretório de arquivos remove apenas sua associação com o caminho correspondente no OSS, NAS ou CPFS. Essa ação não exclui os arquivos no caminho externo.
Na aba Integrated File Directory, localize o diretório que deseja excluir e clique em Delete na coluna Actions.
Clique em OK.
Próximas etapas
Use o diretório de arquivos gerenciado: Após fazer upload dos arquivos, utilize-os como dependências ou fontes de dados em sua tarefa em lote ou streaming.
Use o diretório de arquivos integrado: Com o diretório integrado, monte-o ao configurar sessões de notebook, uma tarefa em lote ou streaming ou uma tarefa de gateway Livy.