El reflujo de registros convierte los registros de inferencia de SLS (Simple Log Service) en conjuntos de datos estructurados que pueden utilizarse para el ajuste fino o la evaluación de modelos.
Resumen de funciones
La función de reflujo de registros transfiere datos de registros de inferencia desde SLS (Simple Log Service) a la plataforma Bailian, les da formato y genera conjuntos de datos estructurados (en formato JSONL) que pueden utilizarse para el ajuste fino o la evaluación de modelos. El reflujo produce datos estructurados, en lugar de una copia directa de los registros sin procesar.
Ámbito
El reflujo de registros admite la creación de los siguientes dos tipos de conjuntos de datos:
- Conjunto de entrenamiento: El escenario de entrenamiento es generación de texto, y los métodos de entrenamiento admiten SFT (Supervised Fine-Tuning).
- Conjunto de evaluación: Admite el escenario de generación de texto.
El reflujo de registros actualmente solo está disponible en las regiones de China (Beijing) y Singapur. La entrada de reflujo de registros no se muestra en otras regiones. El límite superior de un solo reflujo es de 100,000 entradas, y puede realizar múltiples reflujos a diferentes versiones del mismo conjunto de datos para acumular más datos.
El reflujo de registros admite dos métodos de almacenamiento: Almacenamiento de la plataforma (predeterminado). Para conocer las diferencias entre los métodos de almacenamiento y obtener orientación sobre la selección, consulte Crear un conjunto de datos de reflujo de registros.
Los conjuntos de datos generados por el reflujo se pueden utilizar directamente para tareas posteriores: los conjuntos de entrenamiento se pueden usar para ajuste de modelos, y los conjuntos de evaluación se pueden usar para la evaluación de modelos.
Habilitar y autorizar servicios relacionados
Antes de utilizar el reflujo de registros, confirme que la región actual es China (Beijing) o Singapore (la entrada de reflujo de registros no se muestra en otras regiones) y complete la siguiente activación de servicio y autorización de permisos en la página de Monitoreo de modelos. Una vez completados todos los pasos, el panel de configuración de autorización se cierra automáticamente y usted ingresa al formulario de reflujo de registros.
Habilitar registros de auditoría y registros de inferencia
Los registros de auditoría y los registros de inferencia requieren tres pasos cada uno para completarse. Puede utilizar el reflujo de registros solo después de que se cumplan las seis condiciones. Los registros de auditoría son un requisito previo para los registros de inferencia, por lo que debe completar primero todos los pasos de los registros de auditoría.
Registros de auditoría- Autorizar el rol vinculado al servicio SLS: Haga clic en Authorize Now para autorizar el rol AliyunServiceRoleForSFMAccessSLS. Si no está autorizado, se muestra una etiqueta roja No autorizado.
- Activar SLS Log Service: Cuando no está activado, se muestra un estado No activado y un enlace de redireccionamiento. Haga clic en el enlace para ir a la consola SLS y completar la activación.
- Habilitar registros de auditoría: Haga clic en Create and Enable Audit Logs, y el sistema crea una instancia de LogStore y sondea hasta que esté lista (hasta 60 segundos).
- Autorice el rol vinculado al servicio SLS para registros de inferencia.
- Confirm que SLS Log Service esté activado.
- Habilitar registros de inferencia: Cuando los registros de auditoría no están habilitados, este botón aparece atenuado. Debe habilitar primero los registros de auditoría.
ImportantLa habilitación debe seguir este orden: primero los registros de auditoría, luego los registros de inferencia. La deshabilitación debe seguir el orden inverso: primero deshabilite los registros de inferencia, luego los registros de auditoría. Después de deshabilitar los registros, los datos existentes no se pueden restaurar. Confirm que ya no necesita los datos de registro antes de realizar esta operación. Una vez habilitados los registros de inferencia, SLS incurre continuamente en cargos de almacenamiento y lectura/escritura. Deshabilítelos cuando ya no sean necesarios.
La siguiente tabla resume los roles vinculados al servicio implicados en el reflujo de registros.
Nombre del rol | Propósito | Momento de la autorización |
|---|---|---|
AliyunServiceRoleForSFMAccessSLS | Bailian accede a los datos de registro de SLS | Autorizado una vez para registros de auditoría y una vez para registros de inferencia |
Crear un conjunto de datos de reflujo de registros
El reflujo de registros proporciona tres puntos de entrada, todos los cuales conducen al formulario de configuración para crear un conjunto de datos:
Página de lista de monitoreo de modelos
En la parte superior de la página de lista de Monitoreo, haga clic en Log Ingestion. Si es la primera vez que lo utiliza, complete primero la configuración de autorización. Una vez aprobada la autorización, el formulario de reflujo de registros se muestra automáticamente.
Página de detalles de monitoreo de modelos
En el área del selector de tiempo de la página de detalles de monitoreo del modelo, haga clic en Log Ingestion. Al ingresar desde este punto de entrada, el formulario prellena automáticamente el rango de tiempo, la API Key y el modelo de la página actual, y el modelo no se puede modificar.
Página de gestión de datos
Al crear un nuevo conjunto de datos en la página de Data management, seleccione Log Backflow como método de importación. Esta opción solo es visible para conjuntos de entrenamiento (generación de texto + SFT) o conjuntos de evaluación (generación de texto).
Configurar parámetros de reflujo
Después de ingresar al formulario de reflujo de registros, configure los siguientes parámetros de arriba hacia abajo. Algunos parámetros tienen requisitos previos: el filtrado por API Key requiere que se seleccione primero un rango de tiempo, y la selección de modelo requiere que se seleccionen primero tanto un rango de tiempo como una API Key. Modificar el rango de tiempo, el tipo de datos, el escenario de entrenamiento o el método de entrenamiento restablecerá en cascada otros parámetros, por lo que se recomienda completar el formulario estrictamente en orden. Los valores de los parámetros se describen en la tabla a continuación.
Datos de reflujo estimados: El sistema muestra el número estimado de entradas de datos de reflujo basándose en las condiciones de filtro. Cuando el número excede 100,000, se muestra una advertencia en rojo y el exceso no se incluirá en el reflujo. Cuando los resultados de la consulta son demasiados, el botón OK se deshabilita y necesita reducir el rango de filtro.
NoteReglas de restablecimiento en cascada del formulario: Modificar el rango de tiempo restablece la API Key (de vuelta a Todos) y la selección de modelo (borrada); modificar el tipo de datos, el escenario de entrenamiento o el método de entrenamiento restablece la ubicación de almacenamiento y el método de importación.
ImportantEl método de almacenamiento, el tipo de datos y el método de entrenamiento no se pueden cambiar después de la creación. Confirme cuidadosamente antes de seleccionar.
Parámetro | Descripción | Obligatorio | Descripción del valor |
|---|---|---|---|
Backflow location | Método de almacenamiento del conjunto de datos | Sí | Almacenamiento en plataforma (predeterminado). No se puede cambiar después de la creación |
Dataset name | Nombre para mostrar del conjunto de datos en la lista | Sí | Chino, inglés, dígitos, guiones bajos, barras y guiones, hasta 50 caracteres. Formato de nomenclatura recomendado: function_scenario_model_name_time. No se puede modificar después de la creación |
Dataset description | Descripción complementaria del propósito del conjunto de datos | No | Hasta 200 caracteres |
Type and format | Tipo de propósito del conjunto de datos | Sí | Conjunto de entrenamiento o conjunto de evaluación. Cuando se selecciona conjunto de evaluación, el escenario de entrenamiento y el método de entrenamiento se ocultan. No se puede cambiar después de la creación |
Training scenario | Tipo de escenario de entrenamiento (se muestra solo para conjuntos de entrenamiento) | Sí | Actualmente solo se admite la generación de texto |
Training method | Método de ajuste fino (se muestra solo para conjuntos de entrenamiento) | Sí | SFT; las opciones se muestran dinámicamente según el sistema. Bloqueado después de la creación |
Time range | Periodo de tiempo de los registros de reflujo | Sí | Últimos 30 días (incluyendo hoy), con precisión de horas, minutos y segundos. La modificación restablece la selección de API Key y modelo |
API Key filter | Filtrar datos de registro por API Key | Sí | Todos (sin filtro), Otros (excluye las claves listadas) o seleccionar claves específicas (selección múltiple) |
Model selection | Modelos objetivo para el reflujo | Sí | Hasta 10. Los modelos que no coinciden con el filtro de tipo de capacidad aparecen atenuados |
Ver resultados del reflujo
Después de enviar una tarea de reflujo de registros, vea el conjunto de datos y el progreso de la importación en la página de lista de Gestión de datos.
Visualización de la página de lista
Los conjuntos de datos creados mediante el reflujo de registros muestran el método de importación como Ingesta de registros en la página de lista, y la ubicación de almacenamiento se muestra como Almacenamiento de la plataforma según la selección realizada durante la creación.
Puede ver el estado de importación de la tarea en la página de lista. Cuando una tarea falla, puede ver el motivo específico del fallo devuelto por el sistema.
En el modo de almacenamiento en plataforma, el sistema publica automáticamente la versión del conjunto de datos una vez completada la importación, sin requerir operación manual.
Información de la página de detalles
La información mostrada en la página de detalles del conjunto de datos varía según el método de almacenamiento:
- Almacenamiento en plataforma (importación OSS): Muestra el estado de publicación, volumen de datos, hora de creación, FileID, tipo de datos, estado de importación y dirección de importación OSS.
- Otros casos: Muestra el estado de publicación, volumen de datos, hora de creación, FileID, tipo de datos y estado de importación.
Añadir datos de reflujo de registros
En la página de Gestión de datos, puede añadir un nuevo lote de datos de reflujo de registros a un conjunto de datos existente de las siguientes dos maneras:
Página de importación de datos
Ingrese a la página de Import data de un conjunto de datos existente y seleccione Log Backflow como método de importación. Los parámetros del formulario son los mismos que en el flujo de creación. Para más detalles, consulte Crear un conjunto de datos de reflujo de registros. Este método admite adicionalmente el filtrado por espacio de trabajo.
Este método es aplicable a todos los tipos de almacenamiento de conjuntos de datos.
Diálogo de agregar versión
En la página de detalles del conjunto de datos, haga clic en New Version y seleccione el método de importación de reflujo de registros en el cuadro de diálogo. Este método solo está disponible para conjuntos de datos de almacenamiento en plataforma.
Mejores prácticas de reflujo incremental
Se recomienda realizar el reflujo por lotes, dirigidos a diferentes períodos de tiempo o a diferentes modelos por separado, acumulando gradualmente conjuntos de entrenamiento de alta calidad. Cada lote puede seleccionar con precisión modelos con buen rendimiento y datos de las horas pico del negocio, garantizando una calidad de datos superior a la de un único reflujo masivo.
FAQ
¿Qué solicitudes incluye "Otros" en el filtro de API Key?
Pregunta: ¿Qué solicitudes incluye Otros en el filtro de API Key?
Otros filtra las solicitudes de las claves listadas, incluidas las claves eliminadas o los registros generados por otros espacios de trabajo. Todos no filtra por clave. Para una descripción completa de los tres modos (Todos/Otros/selección individual), consulte el parámetro de filtro API Key en Crear un conjunto de datos de reflujo de registros.
¿Es el límite de 100,000 entradas un límite total del conjunto de datos?
Pregunta: El límite de reflujo único es de 100,000 entradas. ¿Significa esto que el volumen total del conjunto de datos también está limitado a 100,000 entradas?
No. El límite de 100,000 entradas se aplica a un solo reflujo, no al volumen total del conjunto de datos. Puede realizar múltiples reflujos a diferentes versiones del mismo conjunto de datos, y el volumen acumulado de datos no está sujeto a este límite. Por ejemplo, al realizar reflujos por lotes para diferentes períodos de tiempo, cada vez dentro de 100,000 entradas, el conjunto de datos final puede acumular mucho más de 100,000 entradas de datos.
¿Son los registros de auditoría y los registros de inferencia la misma operación?
Pregunta: Habilitar los registros requiere operaciones separadas para los registros de auditoría y los registros de inferencia. ¿Cuál es la relación entre ellos?
Deben habilitarse por separado, y los registros de auditoría deben completarse antes de poder habilitar los registros de inferencia. Para los pasos de operación, consulte Habilitar y autorizar servicios relacionados.
¿Por qué el volumen de datos estimado no coincide con los resultados reales del reflujo?
Pregunta: El volumen de datos estimado mostrado antes del envío difiere del número real de entradas después de completar el reflujo.
El volumen de datos estimado es un valor aproximado basado en las condiciones de filtro. El número real de entradas de datos después del reflujo puede diferir ligeramente, lo cual es normal. La estimación se utiliza para ayudar a determinar si es necesario ajustar las condiciones de filtro (por ejemplo, cuando se exceden 100,000 entradas, se le solicita reducir el rango) y no representa un recuento exacto.