Prepare los recursos de cómputo, una imagen de contenedor, un conjunto de datos y el código fuente para un trabajo de entrenamiento de DLC.
Requisitos previos
Si utiliza OSS como almacenamiento, otorgue a DLC los permisos obligatorios para acceder a OSS. Sin los permisos adecuados, se producen errores de E/S al acceder a los datos de un bucket de OSS montado. Para obtener más información, consulte Cloud product dependencies and authorization: DLC.
Paso 1: Preparar los recursos
Prepare los recursos de cómputo para el entrenamiento de IA. A continuación se muestran los tipos de recursos disponibles:
-
Recursos públicos
Complete el proceso descrito en DLC authorization. Después, los recursos públicos estarán disponibles en la página Create Job sin necesidad de agregar un resource group.
-
Recursos de cómputo generales
Cree un resource group dedicado, adquiera recursos de cómputo generales y cree una cuota de recursos para asignarlos. Vincule esta cuota con un espacio de trabajo para enviar trabajos de entrenamiento. Para obtener más información, consulte General computing resource quotas.
-
Recursos de Lingjun
Prepare los recursos de Lingjun y vincúlelos con su espacio de trabajo. Para obtener más información, consulte Create a resource quota.
Paso 2: Preparar una imagen
Prepare una imagen de contenedor para el entorno de entrenamiento. Se admiten las siguientes opciones de imagen:
Imagen oficial: PAI proporciona imágenes oficiales basadas en diversos frameworks. Estas imágenes están optimizadas para los servicios de Alibaba Cloud, lo que ofrece mejor compatibilidad y rendimiento. Vaya a la página de imágenes de AI Asset Management en la PAI console. En la página Image:, dentro de la pestaña Alibaba Cloud Images, establezca Modules en DLC para consultar las imágenes compatibles con trabajos de DLC.
-
Imagen personalizada: Si su trabajo de entrenamiento requiere entornos o dependencias específicas, utilice una imagen personalizada. Agregue la imagen como un recurso de IA de PAI en la página de su espacio de trabajo. Así podrá reutilizarla en varios trabajos de entrenamiento. Para obtener más información, consulte Custom images.
ImportanteSi utiliza una imagen personalizada con recursos de Lingjun, consulte RDMA: Use high-performance networks for distributed training para conocer las consideraciones correspondientes.
Dirección de la imagen: Especifique la dirección de una imagen personalizada u oficial cuando envíe un trabajo de entrenamiento. Consulte las direcciones de las imágenes en la página de imágenes de AI Asset Management de la PAI console.
Paso 3: Preparar un conjunto de datos
Cargue los datos de entrenamiento en OSS, NAS o CPFS y cree un conjunto de datos. También puede montar directamente los datos desde un bucket de OSS o un conjunto de datos público.
Tipos de conjuntos de datos compatibles
PAI admite conjuntos de datos almacenados en OSS, General-purpose NAS, Extreme NAS, CPFS y Lingjun CPFS. La aceleración de conjuntos de datos es compatible con todos los tipos, excepto con Lingjun CPFS.
Crear un conjunto de datos
Para conocer los pasos detallados, consulte Create and manage datasets. Tome en cuenta las siguientes limitaciones:
Limitaciones de OSS: OSS es un servicio distribuido de object storage, no un sistema de archivos. Después de montar un bucket de OSS, no es posible anexar datos ni sobrescribir los archivos existentes.
Requisito de VPC para CPFS: Configure el trabajo de entrenamiento para que use la misma VPC que el sistema de archivos CPFS. Si las VPC no coinciden, el trabajo permanecerá indefinidamente en el estado Preparing environment.
Habilitar la aceleración del conjunto de datos
Habilite la aceleración del conjunto de datos para mejorar la eficiencia de lectura. Para obtener más detalles, consulte Use Dataset Accelerator in PAI.
Paso 4: Preparar el código fuente
Agregue su código de entrenamiento como un recurso de IA en la página de su espacio de trabajo. De este modo, podrá reutilizarlo en varios trabajos de entrenamiento. Para obtener más información, consulte Code configuration.
Siguientes pasos
Una vez completados estos preparativos, cree un trabajo de entrenamiento. Para obtener más información, consulte Create a training job.