Resumen de datos de entrenamiento de Qwen y Wan
Fuentes de datos
Los datos de entrenamiento incluyen cuatro categorías:
- Datos de Internet disponibles públicamente: contenido web accesible para el público en general.
- Datos de socios externos: datos no públicos proporcionados por socios bajo acuerdo.
- Datos etiquetados y contratados: datos provenientes de servicios de etiquetado de datos y contratistas pagados.
- Datos sintéticos: datos generados por modelos propietarios de Alibaba Cloud para complementar los datos del mundo real.
Los conjuntos de datos pueden incluir contenido protegido por derechos de autor, marcas registradas o patentes, así como contenido de dominio público.
Datos sintéticos
Los datos sintéticos generados por modelos propietarios abordan cuatro necesidades:
- Llenar vacíos donde los datos de entrenamiento del mundo real son limitados
- Manejar tareas complejas que requieren ejemplos de entrenamiento especializados
- Mejorar la generalización del modelo y el rendimiento perceptivo
- Fortalecer la seguridad y robustez del modelo
Capacidades principales
Los datos de entrenamiento desarrollan estas capacidades de servicio de inferencia:
- Comprensión general del lenguaje
- Razonamiento avanzado
- Interacción multimodal
- Procesamiento de contexto largo
- Generación visual
Los datos de entrenamiento también admiten la alineación de tareas, la fusión de modalidades y el refinamiento de capacidades, permitiendo el manejo preciso y seguro de solicitudes diversas, especializadas y multimodales.
Política de datos del cliente
Alibaba Cloud Model Studio no utiliza datos comerciales de clientes para desarrollar o mejorar modelos sin consentimiento explícito.
Gobernanza de datos
Un marco de gobernanza de datos cubre todo el flujo de entrenamiento (desde el preentrenamiento hasta el post-entrenamiento) con medidas para la limpieza, procesamiento y optimización estructural de datos.
Preentrenamiento
Los datos de entrenamiento sin procesar se someten a limpieza y filtrado:
- El cribado automatizado de seguridad del contenido elimina contenido dañino o sensible.
- La revisión humana complementa los filtros automatizados como una salvaguarda adicional.
- El filtrado de información personal reduce la información personal en los conjuntos de datos de entrenamiento durante el preprocesamiento.
Estas medidas ayudan al modelo a identificar y reducir sesgos durante la inferencia, mejorando la equidad e imparcialidad en los resultados.
Post-entrenamiento
Aumento de datos para modelos de lenguaje
Los datos de alta calidad se seleccionan mediante un marco de anotación detallado en cinco dimensiones:
Dimensión | Propósito |
|---|---|
Valor educativo | Priorizar datos con señales de aprendizaje fuertes |
Cobertura de dominio | Cubrir amplitud en áreas de conocimiento |
Tipos de idioma | Admitir comprensión multilingüe |
Complejidad del razonamiento | Desarrollar capacidades avanzadas de razonamiento |
Niveles de seguridad | Filtrar según criterios de seguridad del contenido |
Los datos sintéticos de modelos especializados, incluidos Qwen-Math y Qwen-Coder, mejoran aún más el rendimiento en comprensión multilingüe, razonamiento complejo y modelado de contexto largo.
Procesamiento de modelos generativos visuales
Los datos multimodales se someten a un preprocesamiento específico:
- OCR de alta precisión y análisis estructural de documentos para la extracción de texto de imágenes y documentos
- Anotación semántica espacial 2D/3D para la comprensión espacial
- Alineación temporal explícita entre fotogramas de video y texto para la comprensión de video
Los conjuntos de datos sintéticos multimodales a gran escala fortalecen la alineación cruzada entre visión y lenguaje. Admiten la comprensión de documentos complejos y videos de larga duración, y proporcionan una base de entrenamiento para la generación visual y las interacciones basadas en agentes.
Alineación de seguridad
Los conjuntos de datos de seguridad dedicados fortalecen las capacidades de seguridad integradas del modelo mediante la alineación de seguridad.
Objetivo
Estos procesos mejoran la calidad de los datos y la alineación de tareas, mantienen la seguridad y el cumplimiento del modelo, y logran el rendimiento objetivo en inferencias de propósito general, especializadas y multimodales.
Resumen de datos de entrenamiento de HappyHorse
La serie de modelos HappyHorse en Alibaba Cloud Model Studio son modelos desarrollados internamente, entrenados con conjuntos de datos que contienen billones de tokens en texto, imagen, video y audio.
Fuentes de datos
Los datos de entrenamiento incluyen cuatro categorías:
- Datos de Internet disponibles públicamente: contenido web accesible para el público en general.
- Datos de socios externos: datos no públicos proporcionados por socios bajo acuerdo.
- Datos etiquetados y contratados: datos provenientes de servicios de etiquetado de datos y contratistas pagados.
- Datos sintéticos: datos generados por modelos propietarios de Alibaba Cloud para complementar los datos del mundo real.
Los conjuntos de datos pueden incluir contenido protegido por derechos de autor, marcas registradas o patentes, así como contenido de dominio público.
Datos sintéticos
Los datos sintéticos generados por modelos propietarios abordan cuatro necesidades:
- Llenar vacíos donde los datos de entrenamiento del mundo real son limitados
- Manejar tareas complejas que requieren ejemplos de entrenamiento especializados
- Mejorar la generalización del modelo y el rendimiento perceptivo
- Fortalecer la seguridad y robustez del modelo
Capacidades principales
Los datos de entrenamiento desarrollan estas capacidades de servicio de inferencia:
- Comprensión general del lenguaje
- Razonamiento avanzado
- Interacción multimodal
- Procesamiento de contexto largo
- Generación visual
Los datos de entrenamiento también admiten la alineación de tareas, la fusión de modalidades y el refinamiento de capacidades, permitiendo el manejo preciso y seguro de solicitudes diversas, especializadas y multimodales.
Política de datos del cliente
Alibaba Cloud Model Studio no utiliza datos comerciales de clientes para desarrollar o mejorar modelos sin consentimiento explícito.
Gobernanza de datos
Un marco de gobernanza de datos cubre todo el flujo de entrenamiento (desde el preentrenamiento hasta el post-entrenamiento) con medidas para la limpieza, procesamiento y optimización estructural de datos.
Preentrenamiento
Los datos de entrenamiento sin procesar se someten a limpieza y filtrado:
- El cribado automatizado de seguridad del contenido elimina contenido dañino o sensible.
- La revisión humana complementa los filtros automatizados como una salvaguarda adicional.
- El filtrado de información personal reduce la información personal en los conjuntos de datos de entrenamiento durante el preprocesamiento.
Estas medidas ayudan al modelo a identificar y reducir sesgos durante la inferencia, mejorando la equidad e imparcialidad en los resultados.
Post-entrenamiento
Aumento de datos para modelos de lenguaje
Los datos de alta calidad se seleccionan mediante un marco de anotación detallado en cinco dimensiones:
Dimensión | Propósito |
|---|---|
Valor educativo | Priorizar datos con señales de aprendizaje fuertes |
Cobertura de dominio | Cubrir amplitud en áreas de conocimiento |
Tipos de idioma | Admitir comprensión multilingüe |
Complejidad del razonamiento | Desarrollar capacidades avanzadas de razonamiento |
Niveles de seguridad | Filtrar según criterios de seguridad del contenido |
Los datos sintéticos de modelos especializados mejoran aún más el rendimiento en comprensión multilingüe, razonamiento complejo y modelado de contexto largo.
Procesamiento de modelos generativos visuales
Los datos multimodales se someten a un preprocesamiento específico:
- OCR de alta precisión
- Anotación semántica espacial 2D/3D para la comprensión espacial
- Alineación temporal explícita entre fotogramas de video y texto para la comprensión de video
Los conjuntos de datos sintéticos multimodales a gran escala fortalecen la alineación cruzada entre visión y lenguaje. Admiten la comprensión de videos de larga duración y proporcionan una base de entrenamiento para la generación visual.
Alineación de seguridad
Los conjuntos de datos de seguridad dedicados fortalecen las capacidades de seguridad integradas del modelo mediante la alineación de seguridad.
Objetivo
Estos procesos mejoran la calidad de los datos y la alineación de tareas, mantienen la seguridad y el cumplimiento del modelo, y logran el rendimiento objetivo en inferencias de propósito general, especializadas y multimodales.