Uso de la evaluación de rendimiento de CNP - Intelligent Computing LINGJUN

CNP (Cloud Native Application Performance Optimizer) es una plataforma para evaluar, analizar y optimizar el rendimiento de aplicaciones nativas de la nube. Automatiza la evaluación del rendimiento de entrenamiento en clústeres Lingjun y proporciona recomendaciones de optimización.

Acceso a la plataforma CNP

Inicie sesión en la consola de Lingjun.
En la barra de navegación izquierda, haga clic en Performance Evaluation > CNP Performance Evaluation Platform.
En la plataforma CNP, puede iniciar una evaluación de rendimiento o consultar los resultados de la evaluación.
En la esquina inferior izquierda de la página, haga clic en Back para regresar rápidamente a la consola de Lingjun.

Iniciar evaluación

Paso 1: Seleccionar un clúster

En la página de bienvenida o en la página de Performance Evaluation, haga clic en Start Evaluation para avanzar al primer paso: seleccionar un clúster.

Nombre del clúster: seleccione el clúster para la evaluación de entre los clústeres disponibles.

Autorizar DLC access info: después de completar los campos, haga clic en Test Connectivity. Si la conexión se establece correctamente, se muestra un mensaje de éxito; de lo contrario, se visualiza el motivo del error. Motivos de error comunes:

Enumeración de motivos de error	Operación sugerida
Tiempo de espera de conexión agotado	Agregue la IP actual a la lista blanca de acceso de CNP e inténtelo de nuevo
Información incorrecta	Al menos uno de los siguientes elementos es incorrecto: AccessID, AccessKey, workspace o Endpoint. Verifique la información e inténtelo de nuevo.
Error al obtener el token STS (D3001)
Error al crear SLR (D3002)
Error al crear la instancia de Arms (D3003)
Error al comprobar el servicio Arms (D3004)	Active ARMS Service
Error al recuperar la información de ARMS (D3005)
Sin permiso para crear SLR (D3006)	Autorice SLR

Una vez superada la prueba de conectividad, haga clic en Next para continuar con el Paso 2: Seleccionar una solución de prueba.

Paso 2: Seleccionar una solución de prueba

Usar plantilla

El sistema proporciona dos plantillas de soluciones de prueba predeterminadas. Seleccione una según su escenario de negocio.

Solución	Contenido de la prueba	Escala del clúster a evaluar
Solución A: solución general para escenarios basados en LLM	Prueba de GPU única: MatMul (operador matricial) Prueba de máquina única: Bert-base Prueba de modelo de IA: LLaMA-7B	Prueba de GPU única: de forma predeterminada, utiliza la escala máxima de su clúster. Prueba de máquina única: de forma predeterminada, utiliza la escala máxima de su clúster. Prueba de modelo de IA: de forma predeterminada, se crean trabajos de evaluación para 8 GPU, 16 GPU, 32 GPU, 64 GPU, 128 GPU, 256 GPU y 512 GPU, limitados por la escala máxima de su clúster. Por ejemplo, si la escala máxima de su clúster es de 100 GPU, solo se crearán trabajos de evaluación para 8 GPU, 16 GPU, 32 GPU y 64 GPU.
Solución B: solución general para escenarios de reconocimiento de imágenes	Prueba de GPU única: MatMul (operador matricial) Prueba de máquina única: Bert-base Prueba de modelo de IA: Swin-Transformer y Stable Diffusion	Prueba de GPU única: de forma predeterminada, utiliza la escala máxima de su clúster. Prueba de máquina única: de forma predeterminada, utiliza la escala máxima de su clúster. Prueba de modelo de IA: de forma predeterminada, se crean trabajos de evaluación para 8 GPU, 16 GPU, 32 GPU y 64 GPU, limitados por la escala máxima de su clúster. Por ejemplo, si la escala máxima de su clúster es de 16 GPU, solo se crearán trabajos de evaluación para 8 GPU y 16 GPU.

Solución personalizada

Si las plantillas proporcionadas no cumplen con sus requisitos, cree una solución de prueba personalizada.

Prueba de GPU única: el número de nodos se puede personalizar. El caso de prueba predeterminado es MatMul.
Prueba de máquina única: el número de nodos se puede personalizar. El caso de prueba predeterminado es Bert-base.
Prueba de modelo de IA: se pueden personalizar tanto el modelo como el número de GPU en el clúster de evaluación.

Nota

Los modelos compatibles actualmente incluyen: LLaMA-7B, Stable-Diffusion, Swin-Transformer, Bert-base y UNet.
La configuración predeterminada de parámetros utiliza la configuración base. Consulte las configuraciones específicas en la página.

Tiempo estimado de evaluación

Después de seleccionar una solución de prueba, el tiempo estimado de evaluación se calcula según el contenido de la prueba en dicha solución. Nota: esta estimación asume la escala máxima del clúster que seleccionó en el paso uno. Si su clúster activo no ha alcanzado su escala máxima, el tiempo real de evaluación será mayor.

Inicio de evaluación con un clic

Tras completar los pasos uno y dos, haga clic en One-Click Start Evaluation para iniciar la evaluación.

Consultar el progreso y los resultados de la evaluación

Una vez creado un plan de prueba, puede consultar su estado de ejecución y progreso en tiempo real en la página de lista de planes de evaluación. Localice el plan de prueba y haga clic en Details en la columna Actions para ver el progreso de la evaluación de cada paso.

Prueba de GPU única

Prueba superada

Si no se detectan GPU sospechosas de fallo ni GPU con advertencia entre las GPU evaluadas, la prueba de GPU única se considera superada.
Nota
- GPU sospechosa de fallo: el trabajo que evalúa la GPU falló y es posible que la GPU tenga un defecto.
- GPU con advertencia: los TFLOPS de la GPU exceden el rango de umbral normal en más del 5 % de las iteraciones.
- Lógica para calcular el rango de umbral normal: se toma la mediana de TFLOPS de todas las GPU en cada iteración como línea base, y se compara el 103 % y el 97 % de dicha línea base con 4×sigma (4× desviación estándar). Los valores mayores se utilizan como límites superior e inferior del rango de umbral normal.
Resultados de prueba anómalos

Si se detecta al menos una GPU sospechosa de fallo o una GPU con advertencia entre las GPU evaluadas, la prueba de GPU única devuelve resultados anómalos.

En la lista de trabajos de evaluación, haga clic en el icono de más (+) para ver los detalles de las GPU sospechosas de fallo o con advertencia. Reporte los nodos anómalos al equipo de O&M para su resolución. Haga clic en Evaluation Details para consultar los resultados de evaluación de este trabajo.

Progreso de la prueba de máquina única

Prueba superada

Si no se detectan nodos sospechosos de fallo ni nodos con advertencia entre las zonas perimetrales evaluadas, la prueba de máquina única se considera superada.
Nota
- Nodo sospechoso de fallo: el trabajo de DLC en el nodo falló y es posible que el nodo tenga un defecto.
- Nodo con advertencia: el rendimiento del nodo excede el rango de umbral normal en más del 5 % de las iteraciones.
- Lógica para calcular el rango de umbral normal: se toma la mediana del rendimiento de todos los nodos en cada iteración como línea base, y se compara el 103 % y el 97 % de dicha línea base con 4× sigma (4× desviación estándar). Los valores mayores se utilizan como umbrales máximo y mínimo del rango de umbral normal.
Resultados de prueba anómalos

Si se detecta al menos una zona perimetral sospechosa de fallo o con advertencia entre las zonas perimetrales evaluadas, la prueba de máquina única devuelve resultados anómalos.

En la lista de trabajos de evaluación, haga clic en el icono de más (+) para ver los detalles de los nodos sospechosos de fallo o con advertencia, y reporte los nodos anómalos al equipo de O&M para su resolución. Haga clic en Evaluation Details para consultar los resultados de evaluación del trabajo.

Prueba de modelo de IA

Progreso de la prueba

Pending: todos los trabajos se encuentran en estado pendiente.

Completed: todos los trabajos han finalizado correctamente, con errores o se han detenido.

Stopped: todos los trabajos están detenidos.

Running: algunos trabajos están completados y otros se encuentran pendientes o en ejecución.
Lista de trabajos de prueba

Consulte todos los trabajos incluidos en el paso de modelo de IA del plan de prueba actual. Para detener un trabajo en ejecución, haga clic en Stop. Es posible eliminar todos los trabajos.

Aviso
Los trabajos eliminados y los trabajos fallidos no se incluyen en el panel de rendimiento. Proceda con precaución.

Consultar el panel de rendimiento de resultados de prueba

Punto de acceso a la operación

Puede consultar el panel de rendimiento de los planes de prueba cuyo estado sea Completed. El panel abarca los trabajos de evaluación que se ejecutaron correctamente en la fase de prueba de modelo de IA del plan de prueba actual.

Contenido del panel

Escalabilidad del modelo de prueba

Muestra cómo varía el rendimiento a medida que aumenta la cantidad de GPU para cada modelo evaluado en el plan de prueba actual, lo cual refleja la escalabilidad del modelo en el clúster. No se comparan resultados entre distintos modelos.

Fórmula: Puntuación de escalabilidad = log₂(rendimiento del modelo / rendimiento de la especificación mínima de evaluación)

Nota

Ejemplo: este ejemplo utiliza el modelo GPT3-175B (datos MOCK, solo con fines ilustrativos).

GPU	Rendimiento	Puntuación de escalabilidad	Puntuación teórica de escalabilidad
64	10
128	18	log₂(18 / 10)	log₂ 2
256	35	log₂(35 / 10)	log₂ 4
512	69	log₂(69 / 10)	log₂ 8
1024	137	log₂(137 / 10)	log₂ 16

Nota: cuanto más se acerque la puntuación de escalabilidad al valor teórico, mejor será la escalabilidad del rendimiento.

Detalles de los resultados de evaluación

Muestra el rendimiento, MFU y latencia de iteración para cada modelo en las cantidades de GPU evaluadas dentro del plan de prueba actual. El eje Y representa la cantidad de GPU y el eje X representa el valor de la métrica.