Alibaba Cloud Model Studio:Ajuste fino de modelos en la consola

Este tema describe cómo ejecutar tareas de ajuste fino de modelos en la consola y le ayuda a elegir el método y los parámetros de ajuste fino adecuados. El ajuste fino de modelos incluye tres métodos de entrenamiento: Ajuste Fino Supervisado (SFT), Preentrenamiento Continuo (CPT) y Optimización Directa de Preferencias (DPO).

Proceso de ajuste fino del modelo

Paso 1: Seleccionar un método de ajuste fino

Vaya a la página Model Fine-tuning y haga clic en el botón Create Training Task.

Después de ingresar a la página Crear tarea de entrenamiento, en el área de Configuración de entrenamiento puede seleccionar el Training Method como Efficient Training o Full-parameter Training. El panel Resumen de la tarea de entrenamiento en el lado derecho de la página muestra en tiempo real un resumen de la configuración actual de la tarea, incluyendo el modelo, la prioridad, el método de facturación y otros ajustes.

En la sección Información básica, configure el Nombre de la tarea y la Prioridad de la tarea. La prioridad de la tarea tiene cuatro niveles: L0, L1, L2 y L3, listados de mayor a menor. La prioridad afecta el orden de programación de las tareas de entrenamiento. Una mayor prioridad significa una ejecución más temprana.

Cómo elegir entre CPT, SFT y DPO

CPT (Preentrenamiento continuo) utiliza grandes volúmenes de datos no etiquetados para mejorar el rendimiento del modelo en industrias específicas.

SFT (Ajuste fino supervisado) utiliza conjuntos de datos específicos y entrenamiento para mejorar el rendimiento del modelo en escenarios comerciales específicos.

DPO (Optimización Directa de Preferencias) utiliza pares de muestras positivas y negativas en su conjunto de datos de entrenamiento. Al incorporar retroalimentación negativa, reduce las alucinaciones y optimiza casos erróneos específicos.

Los tres métodos de ajuste fino proporcionados por Model Studio no son mutuamente excluyentes, sino progresivos y complementarios.

CPT (optional) → SFT → DPO (optional)

1. CPT (preentrenamiento continuo): Complementa el conocimiento (los modelos generales tienen un conocimiento amplio pero superficial, que podría no cumplir con los requisitos de profundidad y precisión de los campos profesionales).

   • Modelo financiero: Learns financial terms
   • Modelo médico: Memorizes drug pathology
   • Modelo legal: Understands legal articles and precedents

2. SFT (ajuste fino supervisado) - Aprende cómo realizar tareas

   • Bot de servicio al cliente: Learns customer service procedures
   • Asistente de código: Learns programming paradigms
   • Llamada a herramientas (Agente): Learns to use MCP

3. DPO (optimización directa de preferencias) - Realiza tareas mejor

   • Seguridad y responsabilidad: Rejects harmful suggestions
   • Concisión y eficacia: Provides concise answers
   • Objetividad y neutralidad: Evaluates fairly and objectively

# A single line of training data (in JSON format) has the following typical structure when expanded:
{"messages": [
  {"role": "system", "content": "System input 1"},
  {"role": "user", "content": "User input 1"},
  {"role": "assistant", "content": "Expected model output 1"},
  {"role": "user", "content": "User input 2"},
  {"role": "assistant", "content": "Expected model output 2"}
  ...
]}

 {"role": "assistant", "content": "Expected model output 1", "loss_weight": 1.0},
 {"role": "assistant", "content": "Expected model output 2", "loss_weight": 0.5}

Para los requisitos de volumen de datos de cada método de entrenamiento, consulte Requisitos de tamaño del conjunto de datos.

1. Primero, recopile un gran volumen (al menos 10 millones de tokens) de datos no etiquetados específicos del dominio y ejecute CPT para convertir el modelo en un experto en su industria o dominio.
2. Antes de lanzar su aplicación, recopile suficientes (1,000+) muestras positivas para su escenario o negocio específico —pares de entradas y salidas esperadas del modelo— y ejecute SFT.
3. Después de que su aplicación se lance o entre en funcionamiento de prueba, recopile suficientes comentarios de usuarios (100+) (como "me gusta", "no me gusta" o comentarios directos) o casos erróneos. Convierta estos datos en un conjunto de entrenamiento DPO y ejecute DPO.

Si es la primera vez que ajusta un modelo, seleccione un official model.

Si está reentrenando un modelo debido a un rendimiento deficiente, seleccione My Models > el modelo que want reentrenar.

Después de seleccionar un modelo, algunos modelos muestran una opción de Training Modality (como generación de texto o comprensión visual). Elija la modalidad que coincida con su escenario de negocio. Si es compatible, también aparecerá una opción de Thinking Mode (como Instruct o Thinking). Seleccione según sea necesario.

Entrenamiento de parámetros completos frente a entrenamiento eficiente

• El entrenamiento de parámetros completos actualiza todos los parámetros del modelo durante el aprendizaje.
• El entrenamiento eficiente utiliza Adaptación de Bajo Rango (LoRA), que descompone las matrices de pesos y actualiza solo los componentes de bajo rango.

Dado que ambos métodos tienen el mismo costo, Alibaba Cloud Model Studio recomienda utilizar el entrenamiento de parámetros completos si su modelo lo admite, ya que ofrece mejores resultados y una mayor rentabilidad en comparación con el entrenamiento eficiente.

Paso 2: Configurar hiperparámetros

Descripciones de parámetros de entrenamiento:

No todos los modelos admiten todos los parámetros. Consulte la consola para ver las opciones disponibles.

Introducción a las estrategias de programación de la tasa de aprendizaje

Programador de tasa de aprendizaje (lr_scheduler_type) se encuentra en la sección Hyperparameter Configuration y aparece después de hacer clic en Show. Hay ocho estrategias disponibles:

• Lineal: La tasa de aprendizaje disminuye linealmente. Caso de uso: tareas de entrenamiento cortas.

  

• Polinómico: La tasa de aprendizaje disminuye según una función polinómica predefinida a lo largo de los pasos o épocas de entrenamiento, lo que ofrece un control más detallado sobre el decaimiento y se adapta a tareas más complejas. Sin embargo, el coeficiente polinómico integrado es 1, lo que hace que la curva y el efecto sean idénticos a los de Lineal. No recomendado.

• Coseno: La tasa de aprendizaje sigue una curva coseno. Caso de uso: tareas de entrenamiento largas que requieren ajustes finos.

  

• Cosine_with_restarts: La tasa de aprendizaje sigue una curva coseno, se restablece al valor inicial al final de cada ciclo y comienza un nuevo ciclo. Caso de uso: escapar de óptimos locales para encontrar mejores soluciones globales. Sin embargo, las pruebas muestran que la tasa de aprendizaje no se restablece realmente en el punto más bajo de la curva. No recomendado.

• Constante: La tasa de aprendizaje permanece sin cambios y la proporción de calentamiento no tiene efecto. Caso de uso: exploración inicial del rendimiento.

  

• Constant_with_warmup: La tasa de aprendizaje permanece constante, pero se aplica la proporción de calentamiento. Caso de uso: exploración inicial del rendimiento.

  

• Inverse_sqrt: La tasa de aprendizaje disminuye proporcionalmente a la raíz cuadrada inversa del recuento de pasos de entrenamiento. Caso de uso: Ajuste fino SFT, que equilibra adecuadamente la eficiencia de aprendizaje y la convergencia.

  

• Reduce_lr_on_plateau: Reduce automáticamente la tasa de aprendizaje cuando una métrica supervisada (pérdida de validación o precisión) no muestra una mejora significativa durante varias épocas consecutivas. Caso de uso: cuando al modelo le cuesta mejorar aún más, esta estrategia ayuda a continuar la optimización.

  

Paso 3: Seleccionar datos de entrenamiento

Para obtener consejos sobre la construcción de conjuntos de datos, consulte Consejos para la construcción de conjuntos de datos. Para cargar conjuntos de datos de ajuste fino, vaya a la página Data Management.

En la sección Data Configuration, configure lo siguiente:

• Conjunto de entrenamiento: Admite dos métodos: Selección de conjunto de datos y Montaje de conjunto de datos. La Selección de conjunto de datos utiliza conjuntos de datos de ajuste fino cargados previamente. El Montaje de conjunto de datos monta directamente archivos de datos desde OSS.
• Entrenamiento mixto: Cuando está habilitado, puede añadir un conjunto de datos de entrenamiento mixto adicional. El entrenamiento mixto preserva las capacidades generales del modelo durante el ajuste fino, evitando que pierda su capacidad conversacional general por sobreajustarse a datos específicos de la tarea. Habilite esta opción si dispone de datos de múltiples escenarios de negocio.
• Conjunto de validación: Admite División automática y Selección de conjunto de datos. La División automática selecciona aleatoriamente el 10% de los datos de entrenamiento como conjunto de validación. También puede cargar un conjunto de datos de validación por separado. El conjunto de validación evalúa el rendimiento del modelo durante el entrenamiento, mostrando Validation Loss y Validation Token Accuracy.

Paso 4: Configurar recursos de entrenamiento

En la sección Training Resource Configuration, seleccione un método de facturación para el trabajo de entrenamiento.

• Facturación por tokens: Utiliza recursos inactivos compartidos. Se factura según la cantidad de tokens consumidos durante el entrenamiento. La velocidad de entrenamiento depende de la disponibilidad de recursos y puede implicar tiempos de espera en cola.

Paso 5: Salida de entrenamiento

Las siguientes configuraciones se aplican al entrenamiento SFT, DPO y CPT.

En la sección Salida de entrenamiento, configure los siguientes ajustes:

• Nombre del modelo: Establezca el nombre para el modelo de salida. Una vez finalizado el entrenamiento, el punto de control final se publica automáticamente en My Models con este nombre.
• Instantáneas máximas: Utilice la lista desplegable Hasta para establecer cuántos modelos exporta el trabajo de entrenamiento. Cada guardado adicional aumenta la duración de la tarea.
• Intervalo de guardado de puntos de control: Establezca la frecuencia con la que se guardan los puntos de control. Seleccione Calculated by epoch o Calculate by step.
• Cifrado de modelos (Actualización de seguridad): Cuando está habilitado, la plataforma cifra los archivos del modelo mediante el cifrado del lado del servidor de OSS (SSE-OSS) con claves totalmente administradas. Algoritmo de cifrado: AES256.

Paso 6: Entrenar el modelo

Haga clic en Start Training > Confirm el Model Fine-tuning Billing Notice > Comienza el entrenamiento.

Si encuentra permisos insuficientes, consulte: ¿Qué hacer si carece de permisos para el ajuste fino del modelo?

Durante el entrenamiento, haga clic en el botón Logs para ver los registros de entrenamiento en tiempo real. También puede ir a la pestaña Metrics para monitorear Training Loss, Validation Loss o Validation Token Accuracy.

Después de completar el entrenamiento, revise la tendencia entre la Pérdida de entrenamiento y la Pérdida de validación.

1. Si Training Loss disminuye mientras Validation Loss aumenta, el modelo presenta sobreajuste. Es probable que el entrenamiento haya fallado o producido resultados deficientes. Aplique las siguientes optimizaciones (en orden de recomendación) y vuelva a entrenar:

   1. Utilice aumento de datos para incrementar la diversidad y el volumen de datos.
   2. Recopile más datos de entrenamiento para aumentar la diversidad y el volumen.
   3. Ajuste los hiperparámetros: reduzca las épocas, disminuya la tasa de aprendizaje, reduzca el tamaño de lote, aumente la descomposición de peso, eleve el dropout de LoRA o aumente la proporción de calentamiento.

2. Si Training Loss muestra pocos cambios o aumenta (poco frecuente), el modelo presenta subajuste. El entrenamiento ha fallado. Aplique las siguientes optimizaciones (en orden de recomendación) y continúe el entrenamiento:

   1. Verifique la calidad de los datos y asegure una limpieza exhaustiva de los mismos.
   2. Ajuste los hiperparámetros: aumente las épocas, eleve la tasa de aprendizaje, aumente el tamaño de lote, disminuya la descomposición de peso, reduzca el dropout de LoRA o disminuya la proporción de calentamiento.

3. Si no ocurre ninguno de estos problemas, proceda con los siguientes pasos.

Paso 7: Publicar el modelo para despliegue

Solo el ajuste fino SFT admite la publicación de instantáneas intermedias del modelo.

Una vez finalizado el entrenamiento, el punto de control final se publica automáticamente en My Models con el nombre configurado en Paso 5: Salida de entrenamiento.

Para publicar un punto de control intermedio, vaya a la pestaña Outputs en la página de detalles de la tarea de entrenamiento. Visualice la lista de puntos de control guardados, seleccione el punto de control deseado y haga clic en Publish Model.

La pestaña Outputs muestra: ID de punto de control, información de guardado, estado de publicación, nombre del modelo, tiempo de retención restante, hora de creación y acciones.

Los modelos publicados aparecen en la página My Models y se pueden desplegar.

Paso 8: Desplegar el modelo

Vaya a la página My Models para encontrar rápidamente los modos de implementación admitidos, el ID del modelo y otros detalles. Después de la implementación, evalúe su modelo ajustado. Para obtener detalles sobre la implementación, consulte Implementación de modelos.

Paso 9: Evaluar el modelo

Utilice la función Model Evaluation de Alibaba Cloud Model Studio para evaluar el rendimiento de su modelo personalizado. Para más detalles, consulte Centro de ayuda: Descripción general de la evaluación de modelos.

FAQ

¿Cuándo debo utilizar el ajuste fino del modelo?

• Aunque el ajuste fino de modelos de generación de texto puede lograr excelentes resultados en escenarios comerciales específicos, tiene las siguientes limitaciones:

  • Consumo de tiempo: Esto incluye la creación de un conjunto de datos CPT a gran escala (al menos 50 millones de tokens), la construcción de un conjunto de datos SFT efectivo (1,000+ entradas), la recopilación de suficientes casos erróneos (100+) para construir un conjunto de datos DPO efectivo, y la lentitud de las iteraciones de optimización del modelo.
  • Alto costo: Un modelo ajustado solo se puede utilizar después de su implementación, y la facturación de implementación del modelo es elevada.

• Alibaba Cloud Model Studio recomienda que primero intente utilizar Ingeniería de Prompts o Llamada a Funciones para personalizar su aplicación. El ajuste fino del modelo suele ser el "último recurso" para mejorar el rendimiento del modelo. Esto se debe a que:

  1. En muchas tareas, un modelo puede tener inicialmente un rendimiento deficiente, pero aplicar las técnicas de prompt correctas puede mejorar los resultados sin necesidad de ajustar el modelo.
  2. Optimizar iterativamente los prompts y los complementos es más ágil y rentable que las iteraciones de ajuste fino del modelo, ya que el ajuste fino puede requerir volver a recopilar, limpiar y optimizar datos, recolectar casos erróneos y realizar encuestas a clientes.
  3. Incluso si finalmente decide realizar el ajuste fino del modelo, el trabajo inicial en ingeniería de prompts y optimización de complementos no se desperdiciará. Este trabajo preliminar se puede reutilizar completamente al construir el conjunto de datos de ajuste fino.

¿Qué debo hacer si obtengo un error de permiso durante el ajuste fino del modelo?

Póngase en contacto con el administrador de su plataforma o espacio de trabajo para verificar y otorgar los siguientes permisos:

1. Su cuenta debe tener permisos de página para Ajuste fino de modelos – Operación, Implementación de modelos – Operación y Evaluación de modelos – Operación en el espacio de trabajo donde ejecuta las tareas de ajuste fino.

   Para más detalles, consulte: Gestión de permisos de cuenta. Enlace de la consola: Model Studio – Account Management.

2. El espacio de trabajo donde ejecuta los trabajos de ajuste fino debe tener permisos de Entrenamiento de modelos (ajuste fino) para el modelo específico.

   Para más detalles, consulte: Otorgar permisos de invocación, entrenamiento e implementación de modelos a subespacios de trabajo. Enlace de la consola: Model Studio – Workspace Management.

   En la página Model List dentro de Gestión de espacios de trabajo, confirme que la columna Entrenamiento de modelos del modelo objetivo (por ejemplo, Qwen3-8B) muestre el estado Autorizado.

¿Qué debo hacer si los resultados de la evaluación son deficientes después del ajuste fino?

1. Si utiliza evaluación manual, verifique que sus criterios de evaluación coincidan con su negocio o escenario.
2. Recopile casos de prueba con resultados de evaluación deficientes, analice por qué fallaron y ajuste su conjunto de datos de entrenamiento en consecuencia. Luego itere en el ajuste fino.
3. Genere ejemplos de DPO a partir de casos con evaluaciones deficientes y ejecute el entrenamiento DPO.

¿Puedo descargar un modelo ajustado en Alibaba Cloud Model Studio para despliegue local?

Los modelos ajustados en Alibaba Cloud Model Studio no se pueden exportar. Solo se pueden probar e invocar después de su despliegue en Model Studio.

¿Qué debo hacer si el ajuste fino del modelo falla debido a datos de entrenamiento insuficientes?

Si el ajuste fino falla debido a datos insuficientes, intente ajustar el parámetro Longitud de secuencia (max_length).

La longitud de secuencia establece la longitud máxima de tokens por muestra de entrenamiento. En SFT (Ajuste Fino Supervisado), las muestras que exceden esta longitud se descartan. Si la longitud de secuencia es demasiado grande, es posible que se descarten muchas muestras, dejando datos insuficientes para el entrenamiento y provocando un fallo.

1. Al crear un trabajo de entrenamiento, haga clic en Show en la sección Hyperparameter Configuration y busque max_length (Longitud de secuencia).
2. Reduzca la longitud de la secuencia (por ejemplo, a 8192) para que más muestras cumplan con el requisito de longitud y participen en el entrenamiento.
3. Vuelva a enviar el trabajo de entrenamiento.

¿Qué debo hacer si el modelo ajustado sigue respondiendo con la identidad del modelo base en Experience Center?

La configuración de identidad solo surte efecto a través del system prompt. Si no proporciona el system prompt utilizado durante el ajuste fino, es posible que el modelo siga respondiendo con la identidad del modelo base.

Para verificar la configuración de identidad ajustada, utilice uno de los siguientes métodos:

• Método 1: Llame al modelo a través de la API e incluya el parámetro system en la solicitud para pasar el prompt del sistema.

• Método 2: Pruebe en el Experience Center de la consola Model Studio:

  1. En el panel de navegación izquierdo, elija Experience Center > Text Model.
  2. Haga clic en el nombre del modelo y seleccione su modelo ajustado.
  3. Haga clic en Model Debugging en la esquina superior derecha e ingrese la configuración de identidad en el campo System Prompt del panel que se abre.
  4. Envíe una pregunta de prueba en el cuadro de diálogo y confirme que el modelo responde con la identidad ajustada.