Cargue archivos, JAR u otros recursos en EMR Serverless Spark, o agregue directorios de archivos para que sus trabajos puedan acceder a ellos durante la ejecución.
Directorio de archivos administrado frente a directorio de archivos integrado
Directorio de archivos administrado: Cargue archivos locales desde la consola a un espacio de almacenamiento gestionado por el servicio y acceda a ellos directamente durante la ejecución del trabajo.
Directorio de archivos integrado: Monte sistemas de archivos externos como OSS, NAS o CPFS en sus sesiones de notebook y trabajos para acceder directamente a los archivos.
Límites
Directorio de archivos administrado
El tamaño máximo de un solo archivo cargado es de 500 MB.
Directorio de archivos integrado
Un solo espacio de trabajo admite un máximo de 10 directorios de archivos integrados.
No se pueden montar directorios de archivos integrados para trabajos enviados a través de Kyuubi Gateway o clústeres de Spark.
Un directorio de archivos integrado CPFS no se puede montar junto con otros tipos de directorios de archivos integrados (OSS o NAS). Por ejemplo, puede montar varios directorios OSS y NAS al mismo tiempo, pero no puede montar un directorio OSS y un directorio CPFS juntos.
Gestionar el directorio de archivos administrado
Cargar un archivo
-
Vaya a la página Artifacts.
Inicie sesión en la consola de EMR.
En el panel de navegación izquierdo, seleccione .
En la página Spark, haga clic en el nombre del espacio de trabajo deseado.
En el panel de navegación izquierdo de la página EMR Serverless Spark, haga clic en Artifacts.
En la pestaña Managed File Directory, haga clic en Upload File.
En el cuadro de diálogo Upload File, haga clic en el área de carga para seleccionar un archivo local o arrastre un archivo a dicha área.
Gestionar archivos y carpetas
En la pestaña Managed File Directory, puede gestionar los archivos y carpetas existentes:
-
Para los archivos, puede realizar las siguientes operaciones:
Download: Descarga el archivo a su máquina local.
Copy Address: Copia la ruta de acceso del archivo.
Delete: Elimina el archivo.
Para las carpetas, dispone de las siguientes opciones: New Folder, Rename Folder y Delete.
Gestionar el directorio de archivos integrado
Después de agregar un directorio de archivos integrado, los miembros con permisos de edición de archivos en el espacio de trabajo podrán editar archivos y carpetas en un directorio de archivos OSS integrado desde la página Artifacts. Los miembros con permisos de desarrollo de datos podrán leer y escribir en estos archivos y carpetas desde sus trabajos de desarrollo de datos.
Agregar un directorio de archivos
-
Vaya a la página Artifacts.
Inicie sesión en la consola de EMR.
En el panel de navegación izquierdo, seleccione .
En la página Spark, haga clic en el nombre del espacio de trabajo deseado.
En el panel de navegación izquierdo de la página EMR Serverless Spark, haga clic en Artifacts.
En la pestaña Integrated File Directory, haga clic en Create Folder.
-
En el cuadro de diálogo Create File Directory, configure los siguientes parámetros y haga clic en OK.
OSS
Parámetros para OSS:
Parámetro
Descripción
Name
El nombre del directorio de archivos.
OSS Path
Seleccione una ruta de almacenamiento de OSS. Asegúrese de que el rol de ejecución del espacio de trabajo tenga permisos para acceder a esta ruta.
Mounted Path
Puede personalizar esta ruta, pero debe estar bajo la ruta
/mnt.General-purpose NAS
Parámetros para General-purpose NAS:
Parámetro
Descripción
Name
El nombre del directorio de archivos.
File system
Seleccione un sistema de archivos General-purpose NAS. Asegúrese de que el rol de ejecución del espacio de trabajo tenga permisos para acceder al sistema de archivos NAS.
Mount on
Configure un punto de montaje para acceder al sistema de archivos NAS.
File System Path
Especifique una ruta de almacenamiento existente en el sistema de archivos NAS. Si deja este parámetro vacío, se monta el directorio raíz de forma predeterminada.
Mounted Path
Puede personalizar esta ruta, pero debe estar bajo la ruta
/nas.CPFS for Lingjun
Parámetros para CPFS for Lingjun:
Parámetro
Descripción
Name
El nombre del directorio de archivos.
File system
Seleccione un sistema de archivos CPFS for AI Computing. Asegúrese de que el rol de ejecución del espacio de trabajo tenga permisos para acceder al sistema de archivos CPFS.
Mount on
Configure un punto de montaje para acceder al sistema de archivos CPFS.
Mounted Path
Puede personalizar esta ruta, pero debe estar bajo la ruta
/cpfs.Read-only
Esta opción está deshabilitada de forma predeterminada. Cuando se habilita, el directorio de archivos pasa a ser de solo lectura.
Eliminar un directorio de archivos
Al eliminar un directorio de archivos solo se quita su asociación con la ruta correspondiente de OSS, NAS o CPFS. Los archivos en la ruta externa no se eliminan.
En la pestaña Integrated File Directory, busque el directorio que desea eliminar y haga clic en Delete en la columna Actions.
Haga clic en OK.
Siguientes pasos
Usar el directorio de archivos administrado: Después de cargar archivos, puede utilizarlos como dependencias o fuentes de datos en sus batch or streaming task.
Usar el directorio de archivos integrado: Una vez integrado un directorio, puede montarlo al configurar notebook sessions, a batch or streaming task o a Livy gateway task.