PAI ofrece una página central para gestionar los trabajos de entrenamiento distribuido enviados mediante Distributed Training (DLC), su plataforma de infraestructura de IA nativa de la nube. Este tema explica cómo crearlos y gestionarlos.
Requisitos de cuenta y permisos
Cuenta de Alibaba Cloud: esta cuenta puede realizar todas las operaciones sin necesidad de autorización adicional.
Usuario de RAM: otorgue permisos a un usuario de RAM agregándolo como miembro del espacio de trabajo con un rol adecuado. Para obtener más información sobre los permisos de cada rol, consulte Appendix: Roles and permissions.
Crear un trabajo de entrenamiento distribuido
Puede crear un trabajo de entrenamiento distribuido de DLC en la pestaña Deep Learning Containers (DLC). El procedimiento es el siguiente.
-
Vaya a la página de gestión de tareas.
Inicie sesión en la PAI console.
En el panel de navegación izquierdo, haga clic en Workspaces. En la página de lista de espacios de trabajo, haga clic en el nombre del espacio de trabajo deseado.
En el panel de navegación izquierdo del espacio de trabajo, seleccione para abrir la página de gestión de tareas.
En la pestaña Deep Learning Containers (DLC), haga clic en Create Task.
-
En la página Create Task, configure los parámetros y haga clic en OK.
Para obtener más información sobre cómo configurar los parámetros, consulte Create a training job.
Gestionar trabajos de entrenamiento distribuido
La lista de trabajos de entrenamiento distribuido agrupa todos los trabajos enviados desde diversos puntos de entrada, como DLC, nodos de algoritmos en Designer que se ejecutan en DLC y la herramienta de línea de comandos de DLC. Desde aquí puede gestionar sus trabajos.
Los trabajos de DLC eliminados no se pueden restaurar. Proceda con precaución.
Localice rápidamente un trabajo específico por su nombre, ID, rango de tiempo, framework o estado.
Haga clic en el nombre de un trabajo para ir a su página de detalles, donde podrá consultar su estado de ejecución, el estado de las instancias, la vista de recursos y los registros.
Pase el cursor sobre un trabajo para ver rápidamente su estado de ejecución.
-
Haga clic en TensorBoard en la columna Actions para visualizar los resultados del entrenamiento.
NotaLos informes de análisis de TensorBoard solo se pueden consultar para trabajos de entrenamiento que tienen un conjunto de datos asociado.
Utilice la opción Clone en un trabajo para crear una copia con la misma configuración.
Consultar registros agregados por palabra clave
Procedimiento
Puede buscar eventos de registro específicos por palabra clave en la pestaña Log. Siga estos pasos:
En el panel de navegación izquierdo, seleccione AI Computing Asset Management > Jobs. En la página Deep Learning Containers (DLC), haga clic en el nombre de un trabajo.
-
Haga clic en la pestaña Log y configure los ajustes.
-
Encima de la sección Task Information, seleccione un rango de tiempo para la recopilación de registros.
NotaLa recopilación de registros puede continuar después de que el trabajo haya finalizado. Seleccione un rango de tiempo que refleje esta situación.
En el área Instances, seleccione las instancias necesarias.
En el cuadro de búsqueda de la derecha, introduzca palabras clave para buscar registros o eventos relevantes.
-
Reglas básicas de consulta
La búsqueda por palabra clave en registros agregados coincide con palabras completas. Dado que el servicio Simple Log Service (SLS) subyacente para DLC utiliza un tokenizer, no se garantiza una coincidencia exacta de cadenas para una frase.
Por ejemplo, una búsqueda de abc def devuelve todos los registros que contienen tanto abc como def, no solo los registros que contienen la frase exacta abc def.
Reglas de consulta difusa
Puede usar comodines para consultas difusas en registros agregados. Los comodines compatibles son el asterisco (*) y el signo de interrogación (?). Otros caracteres especiales no son válidos para consultas difusas.
Un asterisco (*) representa una secuencia de cero o más caracteres. Un signo de interrogación (?) representa un solo carácter.
El asterisco (*) y el signo de interrogación (?) deben colocarse en medio o al final de una palabra clave; no tienen efecto al principio.
Por ejemplo, la palabra clave abc* encuentra palabras que comienzan con abc. La palabra clave ab?d encuentra palabras de cuatro caracteres que comienzan con ab y terminan con d.
Cuando realiza una consulta difusa, el sistema primero busca hasta 100 términos en el logstore que coincidan con su patrón de comodín. Luego, devuelve todas las entradas de registro que contienen cualquiera de estos términos coincidentes. Si su prefijo es muy corto y coincide con más de 100 términos, los resultados pueden ser incompletos. Los términos más específicos generan resultados más precisos.
Limitaciones de delimitadores
El servicio de registros SLS subyacente para DLC utiliza los siguientes caracteres como delimitadores integrados para tokenizar los registros de entrenamiento: , '";=()[\",\"]{}?@&<>/:\n\t\r
Estos delimitadores dividen el contenido del registro en tokens buscables. Si busca una palabra clave que consiste únicamente en estos caracteres delimitadores, el servicio no la trata como un token completo y la búsqueda no devuelve resultados.
Ejemplo 1: Una búsqueda de &&& no devolverá ningún registro relevante. Para obtener resultados relevantes, construya una palabra clave que incluya contexto del texto circundante.
Ejemplo 2: Para encontrar registros que contengan a&b, utilice la expresión completa como palabra clave en lugar de solo &. Esto devuelve registros que contienen tanto a como b. Las palabras clave más específicas generan resultados más precisos.
Ejemplos de palabras clave
|
Requisito de búsqueda |
Ejemplo de palabra clave |
|
Buscar registros que contengan Error. |
Error |
|
Buscar registros que contengan loss y acc. |
loss acc |
|
Realizar una búsqueda difusa de todos los registros relacionados con Traceback. |
Traceback* |
|
Buscar registros que contengan abc&def. |
abc&def |