Al depurar problemas en el entrenamiento de modelos, como la falta de convergencia en la función de pérdida, la desaparición de gradientes o una convergencia deficiente, es necesario visualizar las métricas en tiempo real. En Platform for AI (PAI), las instancias de TensorBoard se conectan a sus datos de entrenamiento mediante un conjunto de datos o un trabajo de Deep Learning Containers (DLC) y generan un panel interactivo para inspeccionar curvas de pérdida, gradientes y escalares personalizados durante la ejecución del entrenamiento.
Requisitos previos
Antes de empezar, asegúrese de contar con lo siguiente:
Una cuenta de Alibaba Cloud o un usuario de Resource Access Management (RAM) agregado como miembro del espacio de trabajo con los roles y permisos obligatorios. Consulte Appendix: Roles and permissions
Limitaciones
TensorBoard no es compatible con trabajos de DLC creados en la región Malaysia (Kuala Lumpur).
Crear una instancia de TensorBoard
Inicie sesión en la PAI console.
En el panel de navegación izquierdo, haga clic en Workspaces. En la página Workspaces, haga clic en el nombre del espacio de trabajo que desea gestionar.
En el panel de navegación izquierdo, seleccione AI Asset Management > Jobs para ir a la página de trabajos de entrenamiento distribuido.
Haga clic en la pestaña TensorBoard y luego en Create TensorBoard.
En la página Create TensorBoard, configure los parámetros descritos en las siguientes tablas y haga clic en OK.
Información básica
|
Parámetro |
Descripción |
|
Name |
El nombre de la instancia de TensorBoard. |
|
Configuration type |
Seleccione un tipo de montaje e introduzca la ruta del resumen. Consulte los detalles a continuación. |
Tipo de montaje
Elija una de las siguientes opciones según el lugar donde se almacenen sus registros de entrenamiento:
Mount Dataset (recomendado): Seleccione un conjunto de datos e introduzca la ruta relativa del directorio de resúmenes dentro del conjunto de datos.
Mount OSS: Seleccione una ruta de bucket de Object Storage Service (OSS) e introduzca la ruta relativa del directorio de resúmenes en OSS.
By Task: Seleccione un trabajo de DLC e introduzca la ruta completa de los archivos de registro en el contenedor.
Ruta del resumen
La ruta donde se almacenan los registros de resúmenes de TensorBoard. Obtenga la ruta completa de la clase SummaryWriter en su código de entrenamiento.
Configuración de recursos
|
Tipo de recurso |
Descripción |
|
Free Quota |
Asignación fija de recursos gratuitos por instancia: hasta 2 vCPU y 4 GiB de memoria. Para liberar capacidad, deshabilite cualquier instancia de cuota gratuita en ejecución antes de crear una nueva. |
|
General Computing |
Dos opciones de facturación: Public Resources (pago por uso, seleccione un tipo de instancia) o Resource Quota (facturación por suscripción, requiere purchasing computing resources y creating quotas). |
Cuando utilice Resource Quota, configure estos parámetros adicionales:
Resource Quota solo está disponible para usuarios incluidos en la lista de permitidos. Póngase en contacto con su gerente de cuenta para configurar la lista de permitidos.
|
Parámetro |
Descripción |
|
Priority |
Prioridad de programación para la instancia. Valores válidos: 1–9. El valor 1 corresponde a la prioridad más baja. |
|
Job resource |
La cantidad de vCPU y de memoria (en GiB) asignada a la instancia. |
VPC
La configuración de VPC solo está disponible cuando se utilizan Public Resources.
Sin una VPC, la instancia utiliza una conexión a Internet, lo cual puede provocar intermitencias durante el inicio o al cargar informes debido al ancho de banda limitado. Configure una VPC para garantizar un rendimiento estable.
Seleccione una VPC, un vSwitch y un security group en la región actual. De este modo, la instancia podrá acceder a servicios dentro de la virtual private cloud (VPC) seleccionada y aplicar las reglas del security group especificado.
Si su conjunto de datos requiere una VPC (por ejemplo, un conjunto de datos de Cloud Parallel File Storage (CPFS) o un conjunto de datos de NAS que tenga un destino de montaje en la VPC), debe configurar una VPC.
Una vez que la instancia pase al estado Running, haga clic en View TensorBoard en la columna Actions para abrir el panel de TensorBoard.
TensorBoard muestra sus métricas de entrenamiento y registros de resúmenes en una visualización interactiva.
Consejo: Si utiliza recursos de General Computing , detenga la instancia al finalizar para evitar cargos innecesarios. Configure la detención automática para gestionar esto de forma automática; consulte Gestionar una instancia de TensorBoard .
Gestionar una instancia de TensorBoard
En la pestaña TensorBoard, utilice las siguientes acciones para gestionar sus instancias:
Iniciar una instancia
Haga clic en Start en la columna Actions para reiniciar una instancia detenida.
Consultar detalles de la instancia
Haga clic en el nombre de la instancia para abrir la página de detalles, donde puede revisar la Basic Information y la Configuration Information.
Consultar trabajos de DLC asociados
Consulte la cantidad de trabajos de DLC asociados a la instancia de TensorBoard. En la columna Associated Task, pase el cursor sobre 
para ver el ID del trabajo de DLC asociado. Haga clic en el ID para ir a la página de detalles del trabajo.
Consultar conjuntos de datos asociados
Consulte la cantidad de conjuntos de datos asociados a la instancia de TensorBoard. En la columna Associated Dataset, pase el cursor sobre para ver el ID del conjunto de datos asociado. Haga clic en el ID para ir a la página de detalles del conjunto de datos.
Consultar la duración de ejecución
La columna Running Duration muestra cuánto tiempo ha estado en ejecución la instancia desde su último inicio. Al detener la instancia de TensorBoard, la duración de ejecución se restablece.
Detener una instancia
Haga clic en Stop en la columna Actions para detener la instancia inmediatamente.
Haga clic en Auto-stop Settings en la columna Actions para programar una hora de detención automática.
Pasos siguientes
También puede crear y gestionar instancias de TensorBoard desde la página de Deep Learning Containers (DLC). Consulte TensorBoard.