Alibaba Cloud Model Studio:Generación de texto - Crear un trabajo de ajuste

n_epochs int (Obligatorio)

Número de épocas de entrenamiento. El número de veces que el modelo itera sobre los datos de entrenamiento. Ajústelo según su experiencia de ajuste fino.

• Volumen de datos < 10,000: se recomiendan 3-5 épocas.
• Volumen de datos > 10,000: se recomiendan 1-2 épocas.

batch_size int (Obligatorio)

Tamaño del lote. El número de muestras de datos enviadas al modelo para entrenamiento a la vez. Un valor demasiado pequeño aumentará significativamente el tiempo de entrenamiento. Los valores predeterminados varían según el modelo; consulte la consola.

max_length int (Obligatorio)

Longitud de secuencia. Valor recomendado: 8192. La longitud máxima de tokens admitida para una sola muestra de entrenamiento. Si una sola muestra excede esta longitud de tokens, se descartará y no se utilizará para el entrenamiento.

Para la relación entre caracteres y tokens, consulte Conversión de tokens y cadenas.

learning_rate float (Opcional)

Tasa de aprendizaje. Se recomienda utilizar el valor predeterminado de Model Studio. Controla la intensidad de la corrección de pesos del modelo.

• Si es demasiado alta, los parámetros del modelo cambian drásticamente, lo que podría degradar el rendimiento.
• Si es demasiado baja, el rendimiento del modelo no cambiará significativamente.

lr_scheduler_type string (Opcional)

Tipo de programador de tasa de aprendizaje. Recomendado: linear o inverse_sqrt. Una estrategia para ajustar dinámicamente la tasa de aprendizaje durante el entrenamiento. Para obtener detalles sobre cada estrategia, consulte Descripción del programador de tasa de aprendizaje.

split float (Opcional)

La proporción de datos de entrenamiento en el archivo de entrenamiento. Se recomienda utilizar el valor predeterminado de Model Studio.

Cuando validation_datasets no está establecido, Model Studio utiliza automáticamente 80% como conjunto de entrenamiento y 20% como conjunto de validación. Este parámetro no es válido cuando validation_datasets está establecido.

max_split_val_dataset_sample int (Opcional)

Tamaño máximo del conjunto de datos de validación. Se recomienda utilizar el valor predeterminado de Model Studio.

Cuando validation_datasets no está establecido, el conjunto de validación dividido automáticamente contiene como máximo 1,000 muestras. Este parámetro no es válido cuando validation_datasets está establecido.

eval_steps int (Opcional)

Pasos de validación. El intervalo de validación durante el entrenamiento, utilizado para la evaluación periódica de la precisión del entrenamiento del modelo y la pérdida de entrenamiento.

Este parámetro afecta la frecuencia de visualización de Validation Loss y Validation Token Accuracy durante el ajuste.

logging_steps int (Opcional)

Pasos de registro. Los pasos de intervalo para imprimir los registros de ajuste.

warmup_ratio float (Opcional)

Proporción de calentamiento. Se recomienda utilizar el valor predeterminado de Model Studio. La proporción del proceso total de entrenamiento utilizada para el calentamiento de la tasa de aprendizaje. El calentamiento de la tasa de aprendizaje significa que la tasa aumenta linealmente desde un valor pequeño hasta el valor establecido después de que comienza el entrenamiento, ayudando a que el modelo se entrene de manera más estable.

• Si es demasiado grande: tiene el mismo efecto que una tasa de aprendizaje demasiado baja, lo que resulta en un cambio mínimo en el rendimiento del modelo tras el ajuste.
• Si es demasiado pequeño: tiene el mismo efecto que una tasa de aprendizaje demasiado alta, lo que podría causar un peor rendimiento del modelo tras el ajuste.

Este parámetro no es aplicable al programador de tasa de aprendizaje Constant.

weight_decay float (Opcional)

Decaimiento de peso (fuerza de regularización L2). Se recomienda utilizar el valor predeterminado de Model Studio. Ayuda a preservar las capacidades generales del modelo hasta cierto punto. Un valor demasiado grande hará que los efectos del ajuste sean menos notorios.

freeze_vit boolean (Opcional)

Indica si se debe congelar la columna vertebral de visión. Congela los parámetros de la columna vertebral de visión para que sus pesos no se actualicen durante el entrenamiento. Solo aplicable a modelos Qwen-VL (comprensión visual).

Solo cuando freeze_vit se establece en true, el modelo puede facturarse por uso de tokens.

lora_rank int (Opcional)

Rango LoRA. Valor recomendado: 64. El rango de la matriz de bajo rango en el entrenamiento LoRA. Un rango mayor produce mejores resultados de ajuste pero un entrenamiento ligeramente más lento.

Solo tiene efecto cuando training_type es efficient_sft o dpo_lora.

Al realizar un segundo ajuste fino eficiente en un modelo ya ajustado eficientemente, lora_rank, lora_alpha y lora_dropout deben permanecer consistentes.

lora_alpha int (Opcional)

Factor de escala LoRA. Se recomienda utilizar el valor predeterminado de Model Studio. Controla el factor de escala entre los pesos originales del modelo y la corrección de bajo rango LoRA.

• Un valor alfa mayor otorga más peso a la corrección LoRA, haciendo que el modelo dependa más de la información específica de la tarea.
• Un valor alfa más pequeño hace que el modelo sea más propenso a conservar el conocimiento preentrenado original.

Solo tiene efecto cuando training_type es efficient_sft o dpo_lora.

lora_dropout float (Opcional)

Tasa de dropout LoRA. Se recomienda utilizar el valor predeterminado de Model Studio. La tasa de dropout de los valores de la matriz de bajo rango en el entrenamiento LoRA. Utilizar el valor recomendado mejora la generalización del modelo. Un valor demasiado grande hará que los efectos del ajuste fino sean menos notorios.

Solo tiene efecto cuando training_type es efficient_sft o dpo_lora.

save_strategy string (Opcional)

Estrategia de guardado de puntos de control. Se puede establecer en epoch o steps. Cuando se establece en steps, puede ajustar el intervalo de guardado con el parámetro save_steps.

Solo tiene efecto cuando training_type es efficient_sft o sft.

save_steps int (Opcional)

Pasos de guardado. Establece cuántos pasos de entrenamiento transcurren entre cada guardado de punto de control del modelo. Se recomienda establecerlo como un múltiplo entero de eval_steps.

Solo tiene efecto cuando training_type es efficient_sft o sft.

save_total_limit int (Opcional)

Límite de guardado de puntos de control. Valor recomendado: 10. Limita el número máximo de puntos de control guardados para la implementación.

Solo tiene efecto cuando training_type es efficient_sft o sft.

data_source_type string (Obligatorio)

Tipo de fuente de datos. Valores disponibles:

• oss_mount (Montar archivo OSS)
• file_id (Archivo subido mediante la API de gestión de archivos)

mount_storage object (Condicionalmente requerido)

Requerido cuando el tipo de fuente de datos es oss_mount. Información de montaje de OSS.

file_id string (Condicionalmente requerido)

Requerido cuando el tipo de fuente de datos es file_id. ID de archivo, generado por la API de subida de archivos.

job_id string

Identificador único para el trabajo de ajuste fino, utilizado para consultar detalles del trabajo, registros, cancelar o eliminar el trabajo. Regla de generación: ft-{yyyyMMddHHmm}-{4 char uuid}.

job_name string

Nombre del trabajo de ajuste fino.

status string

Estado del trabajo de ajuste fino:

• PENDING: Entrenamiento pendiente.
• QUEUING: El entrenamiento está en cola (solo se puede ejecutar un trabajo de ajuste fino a la vez).
• RUNNING: Entrenamiento en curso.
• SUCCEEDED: Entrenamiento exitoso.
• FAILED: El entrenamiento falló.
• CANCELED: Entrenamiento cancelado.
• CANCELING: El entrenamiento se está cancelando.

finetuned_output string

El nuevo ID de modelo generado tras el ajuste fino. Se devuelve cuando el estado del trabajo es SUCCEEDED.

model string

El modelo base utilizado.

base_model string

El modelo base utilizado.

training_file_ids array

Campo heredado para compatibilidad con versiones anteriores; siempre devuelve una matriz vacía para nuevos trabajos. Utilice training_datasets.

training_datasets Array of Dataset

Lista de conjuntos de datos de entrenamiento.

validation_file_ids array

Campo heredado para compatibilidad con versiones anteriores; siempre devuelve una matriz vacía para nuevos trabajos. Utilice validation_datasets.

validation_datasets Array of Dataset

Lista de conjuntos de datos de validación. Matriz vacía si no se especifica ningún conjunto de validación.

hyper_parameters object

Los hiperparámetros reales utilizados.

training_type string

El método de entrenamiento para el ajuste fino.

create_time string

Hora de creación del trabajo.

end_time string

Hora de finalización del trabajo. Se devuelve cuando el estado del trabajo es SUCCEEDED, FAILED o CANCELED.

usage integer

El número de tokens consumidos por el trabajo de ajuste fino. Para la fórmula de cálculo de facturación, consulte: Facturación. Se devuelve cuando el estado del trabajo es SUCCEEDED o CANCELED.

workspace_id string

El ID del espacio de trabajo del trabajo de ajuste.

user_identity string

Identidad del usuario, ID de cuenta de Alibaba Cloud.

creator string

ID de cuenta de Alibaba Cloud del creador.

modifier string

ID de cuenta de Alibaba Cloud del modificador.

group string

Grupo de trabajos de ajuste fino.