Platform For AI:LLM intelligent routing workbench

Descripción general de funciones

Puede habilitar la función de gestión de usuarios en el banco de trabajo según sus necesidades. Cuando esta función está deshabilitada, el banco de trabajo proporciona los siguientes módulos:

• Monitoreo en tiempo real: Muestra métricas de rendimiento casi en tiempo real, como throughput, latencia y TTFT, junto con la distribución de códigos de estado y el estado operativo del gateway, el programador y las instancias de inference. Esto le ayuda a detectar anomalías rápidamente e identificar cuellos de botella en el rendimiento.

• Centro de configuración: Admite actualizaciones en caliente para parámetros principales, incluidos el proxy de división de tráfico, la directiva de programación, la limitación de solicitudes y la duplicación de tráfico. Los cambios surten efecto de inmediato sin necesidad de reiniciar el servicio, lo que resulta ideal para ajustes dinámicos en entornos de producción. Para obtener más información, consulte configuration center.

• Chat inteligente: Proporciona una interfaz visual para pruebas de chat. Puede enviar solicitudes de texto o imagen directamente al servicio de enrutamiento inteligente de LLM y usar registros HTTP para depuración, lo que le permite validar rápidamente el comportamiento del proxy de división de tráfico.

Al habilitar la gestión de usuarios se crea un sistema integral de usuarios, ideal para empresas donde varios equipos comparten un servicio de LLM. Esto añade los siguientes módulos:

• Resumen de datos: Muestra el consumo de tokens y la distribución del volumen de solicitudes por usuario y departamento. Puede filtrar los datos por rango de tiempo y dimensión de usuario para ayudar a los administradores a identificar a los usuarios con mayor uso.

• Gestión de usuarios: Permite crear, consultar, actualizar y eliminar usuarios, así como habilitarlos o deshabilitarlos y gestionar sus API Keys. También puede realizar estas operaciones mediante una API. Para obtener más información, consulte user management API reference.

• Registro de auditoría: Registra operaciones de gestión como inicios y cierres de sesión, modificaciones de usuarios, restablecimientos de API Key y cambios de configuración. Registra la hora, el operador y el objeto de recurso de cada acción. Puede filtrar los registros por hora, tipo de operación y operador para auditorías de cumplimiento y rastreo de incidencias.

• Centro de usuario: Los usuarios pueden gestionar sus perfiles, ver y restablecer su propia API Key, y revisar sus estadísticas personales de solicitudes y registros de consumo de tokens.

Los módulos disponibles para cada rol son los siguientes:

Acceso al banco de trabajo

Requisitos previos: Ha desplegado un servicio de enrutamiento inteligente de LLM o un servicio agregado que incluye un servicio de enrutamiento inteligente de LLM.

Procedimiento:

1. Inicie sesión en la PAI console y vaya a la pestaña de servicios de inference de EAS.

2. Localice el servicio de enrutamiento inteligente de LLM deseado.

3. En la columna Invocation / Logs / Monitoring del servicio, haga clic en el icono de web app.

4. En la ventana emergente, localice el banco de trabajo WebUI y abra el banco de trabajo de administración.

   Después de que un administrador crea un usuario en la página de gestión de usuarios, el usuario puede iniciar sesión en el banco de trabajo WebUI a través del User Login portal con su API Key.

Centro de configuración

El centro de configuración admite actualizaciones en caliente para las configuraciones principales del enrutamiento inteligente de LLM, las cuales surten efecto de inmediato sin necesidad de reiniciar el servicio. El siguiente diagrama muestra las etapas en las que se aplica cada configuración.

Referencia de API de gestión de usuarios

Autenticación: Todas las llamadas a la API deben incluir la API Key del administrador del sistema en el encabezado de la solicitud: Authorization: Bearer <admin_api_key>.

Al realizar llamadas, reemplace https://gateway.example.com en los ejemplos con su endpoint de enrutamiento inteligente de LLM, por ejemplo http://xxx.cn-shanghai.pai-eas.aliyuncs.com/api/predict/ai_assistant.ai_gw.

curl -X GET "https://gateway.example.com/api/users/check?employee_id=12345" \
-H "Authorization: Bearer <admin_api_key>"

curl -X POST "https://gateway.example.com/api/users" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"name":"John Doe","email":"john.doe@company.com","employee_id":"12345","department":"Engineering"}'

# Retrieve all users
curl -X GET "https://gateway.example.com/api/users" \
-H "Authorization: Bearer <admin_api_key>"

# Retrieve a single user
curl -X GET "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>"

curl -X POST "https://gateway.example.com/api/users/user_xxx/regenerate-key" \
-H "Authorization: Bearer <admin_api_key>"

curl -X PUT "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"department":"New Product","email":"john.doe@newcompany.com"}'

curl -X DELETE "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>"

curl -X POST "https://gateway.example.com/api/provision" \
  -H "Authorization: Bearer <admin_api_key>" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "John Doe",
    "email": "john.doe@company.com",
    "employee_id": "12345",
    "department": "Engineering"
  }'

curl -X POST "https://gateway.example.com/api/provision/reset" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"employee_id":"12345"}'

# 1. Create a user and get the provisioning link.
curl -X POST "https://gateway.example.com/api/provision" \
-H "Authorization: Bearer <admin_api_key>" \
 -H "Content-Type: application/json" \
 -d '{"name":"John Doe","email":"john.doe@company.com","employee_id":"12345","department":"Engineering"}'
# 2. Send the returned provision_url to the user (for example, by email or instant message).

# 3. The user opens the link, and the page automatically calls /api/provision/verify to retrieve the API Key.

# 1. Check if the user already exists.
curl -X GET "https://gateway.example.com/api/users/check?employee_id=12345" \
-H "Authorization: Bearer <admin_api_key>"

# 2. If the user does not exist, create the user.
curl -X POST "https://gateway.example.com/api/users" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"name":"John Doe","employee_id":"12345","department":"Engineering"}'

# 3. Send the returned api_key to the user.

# Disable the user (recommended).
curl -X PUT "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"enabled": false}'

# Alternatively, delete the user.
curl -X DELETE "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>"

# Reset the key by employee ID and send a new provisioning link.
curl -X POST "https://gateway.example.com/api/provision/reset" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"employee_id":"12345"}'

# Send the returned provision_url to the user.

# Check for the user by employee ID.
curl -X GET "https://gateway.example.com/api/users/check?employee_id=12345" \
-H "Authorization: Bearer <admin_api_key>"

# Use the returned user_id to reset the API Key.
curl -X POST "https://gateway.example.com/api/users/user_xxx/regenerate-key" \
-H "Authorization: Bearer <admin_api_key>"

Preguntas frecuentes