Split component - Platform For AI - Centro de documentación de Alibaba Cloud

El componente Split en Machine Learning Designer de Platform for AI (PAI) divide un conjunto de datos en dos tablas de salida. Utilícelo para crear conjuntos de entrenamiento y prueba antes del entrenamiento del modelo.

Elija el método de división según sus datos:

Método	Cuándo utilizarlo
División por proporción	Divisiones aleatorias basadas en proporciones; adecuado para la mayoría de los conjuntos de datos.
División por umbral	Divisiones ordenadas basadas en el valor de una columna numérica, como datos de series temporales donde todas las filas anteriores a una fecha límite deben ir a una sola tabla.

Si se configuran tanto los parámetros de proporción como los de umbral, el método basado en umbral tiene prioridad.

Configurar el componente

Método 1: Usar la PAI console

En la página de detalles del pipeline, localice el componente Split en la lista de componentes del panel de navegación izquierdo, arrástrelo al lienzo y conéctelo a un nodo superior. Haga clic en el componente para abrir su panel de configuración.

División por proporción

Configure los siguientes parámetros en la pestaña Parameters Setting:

Parámetro	Descripción	Obligatorio
Splitting Method	Seleccione Split by Ratio.	Sí
Splitting Fraction	Proporción de datos en la Output Table 1 respecto al conjunto de datos completo. Valores válidos: (0, 1). Por ejemplo, establezca `0.8` para colocar el 80% de las filas en la Output Table 1 y el 20% en la Output Table 2.	Sí
Random Seed	Fija el estado del generador aleatorio para que, al volver a ejecutar el pipeline con la misma semilla, se produzca la misma división. Si se deja en blanco, el sistema genera una semilla automáticamente.	No
ID Column (disponible en Advanced Options)	Mantiene todas las filas que comparten el mismo valor de ID juntas en la misma tabla de salida. Utilice esta opción cuando su conjunto de datos tenga varias filas por entidad (por ejemplo, múltiples transacciones por cliente) para evitar que la misma entidad aparezca en ambas tablas (fuga de datos). Solo se puede seleccionar una columna.	No

División por umbral

Parámetro	Descripción	Obligatorio
Splitting Method	Seleccione Split by Threshold.	Sí
Threshold Column	La columna numérica utilizada para la división. No se admiten columnas STRING.	Sí
Threshold	Las filas donde el valor de la columna es menor que el umbral van a la Output Table 1. Las filas donde el valor es mayor o igual al umbral van a la Output Table 2. Por ejemplo, con un umbral de `100`: una fila con valor `80` va a la Output Table 1, y una fila con valor `100` o `120` va a la Output Table 2.	Sí

Parámetros de ajuste

Parámetro	Descripción
Cores	Número de núcleos para el trabajo. Se asignan automáticamente según el tamaño de los datos de entrada.
Memory size per core	Memoria por núcleo en MB. Se asigna automáticamente según el tamaño de los datos de entrada.

Método 2: Ejecutar comandos de PAI

En la página de detalles del pipeline, arrastre el componente SQL Script al lienzo y haga clic en él para abrir el panel de configuración. En Parameters Setting, desactive la opción Whether the system adds a create table statement, pegue el siguiente comando en el editor de SQL Script y ejecútelo.

El siguiente ejemplo divide la tabla wbpc por proporción, colocando el 25% de los datos en wpbc_split1 y el 75% restante en wpbc_split2:

PAI -name split -project algo_public
    -DinputTableName=wbpc
    -Doutput1TableName=wpbc_split1
    -Doutput2TableName=wpbc_split2
    -Dfraction=0.25;

Para obtener más información sobre el componente SQL Script, consulte SQL Script.

Los parámetros de proporción ( fraction , randomSeed , idColName ) y los parámetros de umbral ( thresholdColName , threshold ) no se pueden usar en el mismo comando.

Parámetros comunes

Parámetro	Obligatorio	Descripción	Predeterminado
`inputTableName`	Sí	Nombre de la tabla de entrada.	—
`inputTablePartitions`	No	Particiones para leer de la tabla de entrada. Formatos: `partition_name=value` para particiones de un solo nivel; `name1=value1/name2=value2` para particiones de varios niveles. Separe varias particiones con comas.	Todas las particiones
`output1TableName`	Sí	Nombre de la Output Table 1.	—
`output1TablePartition`	No	Nombre de partición para la Output Table 1.	Sin particionar
`output2TableName`	Sí	Nombre de la Output Table 2.	—
`output2TablePartition`	No	Nombre de partición para la Output Table 2.	Sin particionar
`lifecycle`	No	Ciclo de vida de las tablas de salida, en días. Valores válidos: [1, 3650].	—
`coreNum`	No	Número de núcleos. Parámetro de ajuste; se asigna automáticamente según el tamaño de los datos de entrada.	Automático
`memSizePerCore`	No	Memoria por núcleo en MB. Parámetro de ajuste; se asigna automáticamente según el tamaño de los datos de entrada. Valores válidos: (1, 65536).	Automático

Parámetros de división por proporción

Parámetro	Obligatorio	Descripción	Predeterminado
`fraction`	Sí	Proporción de datos en la Output Table 1. Valores válidos: (0, 1).	—
`randomSeed`	No	Semilla aleatoria; debe ser un entero positivo.	Automático
`idColName`	No	Nombre de la columna de ID. Mantiene todas las filas con el mismo ID en la misma tabla de salida, lo que evita la fuga de datos entre los conjuntos de entrenamiento y prueba. Solo se puede seleccionar una columna.	—

Parámetros de división por umbral

Parámetro	Obligatorio	Descripción	Predeterminado
`thresholdColName`	Sí	Nombre de la columna de umbral. No se admiten columnas STRING.	—
`threshold`	Sí	Umbral de división. Las filas con valores menores que el umbral van a la Output Table 1; las filas con valores mayores o iguales al umbral van a la Output Table 2.	—