Deep Learning Containers (DLC), Data Science Workshop (DSW) y Elastic Algorithm Service (EAS) en Platform for AI (PAI) permiten montar un sistema de archivos Storage NAS (NAS) o Cloud Parallel File Storage (CPFS) en una ruta del contenedor. De esta forma, se almacenan los archivos de entrenamiento y despliegue, así como los archivos de resultados.
Este tema toma como ejemplo un sistema de archivos NAS de uso general.
Requisitos previos
Antes de empezar, compruebe que cuenta con lo siguiente:
Un sistema de archivos NAS de uso general. Consulte Create a file system.
Paso 1: Crear un conjunto de datos de NAS
Omita este paso si utiliza EAS, ya que este servicio monta NAS directamente sin necesidad de un objeto de conjunto de datos. Para DLC y DSW, omítalo únicamente si planea usar la opción Directly mount en lugar de un conjunto de datos.
Cree un conjunto de datos de NAS en PAI para que DLC y DSW puedan hacer referencia al sistema de archivos por su nombre. Para más detalles, consulte Create and manage datasets.
Cree el conjunto de datos en la misma región donde se encuentran sus trabajos de DLC, instancias de DSW y servicios de EAS, así como los datos y el código almacenados.
Establezca los siguientes parámetros al crear el conjunto de datos:
|
Parámetro |
Valor |
|
Storage type |
General-purpose NAS |
|
File system |
El ID de su sistema de archivos NAS. Inicie sesión en la consola de NAS para buscar el ID o selecciónelo en la lista desplegable. |
|
File system path |
|
|
Default mount path |
|
Paso 2: Montar NAS en DLC, DSW o EAS
Una vez creado el conjunto de datos, adjúntelo cuando cree un trabajo de entrenamiento de DLC, una instancia de DSW o un servicio de EAS.
Montar NAS en DLC
Cuando creating a training job, configure el almacenamiento en la sección Environment Information. Hay dos opciones disponibles:
Opción 1: Conjunto de datos personalizado (recomendada)
Haga clic en Custom Dataset y seleccione su conjunto de datos NAS de uso general.
La ruta de montaje configurada en el conjunto de datos se aplica automáticamente. El trabajo de entrenamiento lee los datos desde esta ruta durante la ejecución.
Active o desactive Read-only para controlar el acceso de lectura y escritura.
Opción 2: Montaje directo
Haga clic en General-purpose NAS y configure los parámetros del sistema de archivos.
Establezca Mount Path con la ruta interna del contenedor de DLC desde la que desea acceder a los datos.
Active o desactive Read-only para controlar el acceso de lectura y escritura.
Mejorar el rendimiento con nconnect (opcional)
En trabajos de entrenamiento con un alto volumen de datos, puede aumentar el rendimiento de lectura de NAS mediante el parámetro nconnect dentro de Advanced Settings. Este parámetro abre varias conexiones TCP entre el cliente NFS y el servidor, lo que incrementa el rendimiento cuando una sola conexión se satura.
Se recomienda establecer nconnect en 4:
{"nconnect":"4"}Montar NAS en DSW
Cuando creating a DSW instance, configure el almacenamiento en la sección Dataset mounting:
Custom dataset: haga clic en
, vaya a la pestaña General-purpose NAS y seleccione el conjunto de datos de NAS. La ruta de montaje configurada en el conjunto de datos se aplica automáticamente. Acceda al sistema de archivos desde esa ruta en el entorno de desarrollo de DSW.Working directory: seleccione el conjunto de datos en la lista desplegable. El conjunto de datos se sincroniza con el directorio
/mnt/workspacede DSW.
Montar NAS en EAS
Cuando deploying an EAS service, configure el almacenamiento en la sección Environment Information:
En Model Settings, haga clic en Standard NAS y configure los siguientes parámetros:
|
Parámetro |
Descripción |
|
Select a file system |
El sistema de archivos NAS que se va a montar. |
|
Mount Target |
El destino de montaje mediante el cual EAS accede al sistema de archivos. |
|
File system path |
La ruta dentro del sistema de archivos NAS que se expone al servicio. |
|
Mount path |
La ruta interna del contenedor del servicio desde la que se accede a los datos de NAS. |