Téléchargez des fichiers, des archives JAR ou d'autres ressources vers EMR Serverless Spark, ou ajoutez des répertoires de fichiers afin que vos jobs puissent y accéder lors de l'exécution.
Répertoire de fichiers géré vs répertoire de fichiers intégré
Répertoire de fichiers géré : téléchargez des fichiers locaux depuis la console vers un espace de stockage géré par le service et accédez-y directement lors de l'exécution des jobs.
Répertoire de fichiers intégré : montez des systèmes de fichiers externes tels qu'OSS, NAS ou CPFS sur vos sessions notebook et vos jobs pour accéder aux fichiers directement.
Limites
Répertoire de fichiers géré
La taille maximale d'un fichier téléchargé est de 500 Mo.
Répertoire de fichiers intégré
Un workspace prend en charge un maximum de 10 répertoires de fichiers intégrés.
Vous ne pouvez pas monter de répertoires de fichiers intégrés pour les jobs soumis via Kyuubi Gateway ou les clusters Spark.
Un répertoire de fichiers intégré CPFS ne peut pas être monté simultanément avec d'autres types de répertoires de fichiers intégrés (OSS ou NAS). Par exemple, vous pouvez monter plusieurs répertoires OSS et NAS en même temps, mais vous ne pouvez pas monter conjointement un répertoire OSS et un répertoire CPFS.
Gérer le répertoire de fichiers géré
Télécharger un fichier
-
Accédez à la page Artifacts.
Connectez-vous à la console EMR.
Dans le volet de navigation de gauche, sélectionnez .
Sur la page Spark, cliquez sur le nom du workspace cible.
Dans le volet de navigation de gauche de la page EMR Serverless Spark, cliquez sur Artifacts.
Sous l'onglet Managed File Directory, cliquez sur Upload File.
Dans la boîte de dialogue Upload File, cliquez sur la zone de téléchargement pour sélectionner un fichier local, ou faites glisser un fichier dans cette zone.
Gérer les fichiers et les dossiers
Sous l'onglet Managed File Directory, vous pouvez gérer les fichiers et dossiers existants :
-
Pour les fichiers, vous pouvez effectuer les opérations suivantes :
Download : téléchargez le fichier sur votre machine locale.
Copy Address : copie le chemin d'accès au fichier.
Delete : supprimez le fichier.
Pour les dossiers, vous pouvez effectuer les actions suivantes : New Folder, Rename Folder et Delete.
Gérer le répertoire de fichiers intégré
Une fois que vous avez ajouté un répertoire de fichiers intégré, les membres disposant des autorisations de modification de fichiers dans le workspace peuvent modifier les fichiers et dossiers d'un répertoire de fichiers OSS intégré depuis la page Artifacts. Les membres disposant des autorisations de développement de données peuvent lire et écrire dans ces fichiers et dossiers lors de leurs jobs de développement de données.
Ajouter un répertoire de fichiers
-
Accédez à la page Artifacts.
Connectez-vous à la console EMR.
Dans le volet de navigation de gauche, sélectionnez .
Sur la page Spark, cliquez sur le nom du workspace cible.
Dans le volet de navigation de gauche de la page EMR Serverless Spark, cliquez sur Artifacts.
Sous l'onglet Integrated File Directory, cliquez sur Create Folder.
-
Dans la boîte de dialogue Create File Directory, configurez les paramètres suivants et cliquez sur OK.
OSS
Paramètres pour OSS :
Parameter
Description
Name
Nom du répertoire de fichiers.
OSS Path
Sélectionnez un chemin de stockage OSS. Assurez-vous que le rôle d'exécution du workspace dispose des autorisations nécessaires pour accéder à ce chemin.
Mounted Path
Vous pouvez personnaliser ce chemin, mais il doit se trouver sous le chemin
/mnt.General-purpose NAS
Paramètres pour General-purpose NAS :
Parameter
Description
Name
Nom du répertoire de fichiers.
File system
Sélectionnez un système de fichiers General-purpose NAS. Assurez-vous que le rôle d'exécution du workspace dispose des autorisations nécessaires pour accéder au système de fichiers NAS.
Mount on
Configurez un point de montage pour accéder au système de fichiers NAS.
File System Path
Spécifiez un chemin de stockage existant dans le système de fichiers NAS. Si vous laissez ce paramètre vide, le répertoire racine est monté par défaut.
Mounted Path
Vous pouvez personnaliser ce chemin, mais il doit se trouver sous le chemin
/nas.CPFS for Lingjun
Paramètres pour CPFS for Lingjun :
Parameter
Description
Name
Nom du répertoire de fichiers.
File system
Sélectionnez un système de fichiers CPFS for AI Computing. Assurez-vous que le rôle d'exécution du workspace dispose des autorisations nécessaires pour accéder au système de fichiers CPFS.
Mount on
Configurez un point de montage pour accéder au système de fichiers CPFS.
Mounted Path
Vous pouvez personnaliser ce chemin, mais il doit se trouver sous le chemin
/cpfs.Read-only
Cette option est désactivée par défaut. Lorsqu'elle est activée, le répertoire de fichiers devient accessible en lecture seule.
Supprimer un répertoire de fichiers
La suppression d'un répertoire de fichiers retire uniquement son association avec le chemin OSS, NAS ou CPFS correspondant. Les fichiers situés sur le chemin externe ne sont pas supprimés.
Sous l'onglet Integrated File Directory, repérez le répertoire à supprimer et cliquez sur Delete dans la colonne Actions.
Cliquez sur OK.
Étapes suivantes
Utiliser le répertoire de fichiers géré : après avoir téléchargé des fichiers, vous pouvez les utiliser comme dépendances ou sources de données dans vos tâches par lots ou en streaming.
Utiliser le répertoire de fichiers intégré : une fois un répertoire intégré, vous pouvez le monter lors de la configuration des sessions notebook, d'une tâche par lots ou en streaming ou d'une tâche Livy gateway.