Dataflow for CPFS for Lingjun - Cloud Parallel File Storage - Centro de documentación de Alibaba Cloud

Cree flujos de datos y tareas de flujo de datos para transferir datos a alta velocidad entre un sistema de archivos CPFS for Lingjun y un bucket de OSS.

Funcionalidades

CPFS for Lingjun admite estas funciones de flujo de datos:

Flujo de datos por cuenta

Admite flujos de datos de la misma cuenta y entre cuentas con buckets de OSS.
Flujo de datos por directorio

Permite asignar cualquier subdirectorio de un sistema de archivos CPFS for Lingjun a cualquier prefijo de un bucket de OSS para controlar los permisos de forma granular y transferir datos con flexibilidad.
Importación y exportación de datos
- Cree tareas por lotes o de streaming para importar y exportar datos entre un sistema de archivos CPFS for Lingjun y OSS. Las tareas por lotes precargan un conjunto de datos completo antes de que comience un trabajo de cómputo. Las tareas de streaming gestionan la escritura diferida y la precarga bajo demanda de archivos individuales, como los puntos de control del modelo, durante el entrenamiento.
  
  Aviso
  CPFS for Lingjun exporta las marcas de tiempo de modificación de archivos a metadatos personalizados de OSS denominados x-oss-meta-alihbr-sync-mtime. No elimine ni modifique estos metadatos; de lo contrario, las marcas de tiempo del sistema de archivos serán incorrectas.
- Si una tarea falla, consulte el informe de la tarea para identificar la causa.
  
  Importante
  El informe de la tarea es solo de referencia. Los datos de destino son la versión definitiva. Compruebe la coherencia de los datos entre el origen y el destino.

Tipos de tarea de flujo de datos

CPFS for Lingjun proporciona dos tipos de tarea de flujo de datos: tareas por lotes y tareas de streaming.

Tarea por lotes

Una tarea por lotes importa o exporta todos los archivos de un directorio de una sola vez; es ideal para precargar conjuntos de datos completos antes del entrenamiento de IA.

Tarea de streaming

Una tarea de streaming transfiere archivos individuales bajo demanda, como los puntos de control del modelo durante el entrenamiento. Envíe una subtarea mediante una operación de API para desencadenar cada transferencia. El sistema no sincroniza automáticamente los cambios de los archivos.

Nota

Las tareas de streaming solo son compatibles con CPFS for Lingjun 2.6.0 y versiones posteriores.
Las tareas de streaming solo están disponibles mediante API. Manage streaming tasks (OpenAPI).

Descripciones de tareas

Hay cuatro tipos de tarea disponibles: import, export, stream import y stream export.

Tipo	Descripción
import	Importa todos los datos del almacenamiento de origen al sistema de archivos CPFS for Lingjun de una sola vez. Tipo de importación: metadatos y datos de archivo (MetaAndData). Ruta de importación: la ruta del bucket de OSS desde la cual se importan los datos al sistema de archivos.
export	Exporta los datos especificados del sistema de archivos CPFS for Lingjun a un bucket de OSS de una sola vez. Ruta de exportación: la ruta de archivo o directorio en el sistema de archivos CPFS for Lingjun. Aviso CPFS for Lingjun exporta las marcas de tiempo de modificación de archivos a metadatos personalizados de OSS denominados `x-oss-meta-alihbr-sync-mtime`. No elimine ni modifique estos metadatos; de lo contrario, las marcas de tiempo del sistema de archivos serán incorrectas. No deshabilite el control de versiones en el bucket de OSS de origen mientras use un flujo de datos; de lo contrario, las tareas de exportación fallarán. Versioning.
stream import	Importa los datos especificados del almacenamiento de origen a un sistema de archivos CPFS for Lingjun archivo por archivo. Solo mediante API. Tipo de importación: metadatos y datos de archivo (MetaAndData). Ruta de importación: la ruta del bucket de OSS desde la cual se importan los datos al sistema de archivos.
stream export	Exporta los datos especificados de un sistema de archivos CPFS for Lingjun a un bucket de OSS archivo por archivo. Solo mediante API. Ruta de exportación: la ruta de archivo o directorio en el sistema de archivos CPFS for Lingjun.

Limitaciones

Flujo de datos
- Los flujos de datos de la misma cuenta requieren CPFS for Lingjun 2.4.0 o posterior. Los flujos de datos entre cuentas requieren 2.6.0 o posterior.
- Máximo 10 flujos de datos por sistema de archivos CPFS for Lingjun.
- Cada ruta del sistema de archivos puede vincularse a un solo bucket de OSS.
- Los flujos de datos no pueden abarcar distintas regiones.
Restricciones en rutas, nombres de archivo y nombres de directorio
- Cambiar el nombre de un directorio no vacío en una ruta asociada a un flujo de datos devuelve un error de Permission Denied o de directorio no vacío.
- Utilice con precaución caracteres especiales en los nombres de directorio y archivo.
  - Los caracteres compatibles incluyen mayúsculas y minúsculas, números, signos de exclamación (!), guiones (-), guiones bajos (_), puntos (.), asteriscos (*) y paréntesis (()).
  - Los caracteres que se muestran a continuación no son compatibles y pueden provocar errores en las tareas:
    - El nombre de un subdirectorio o archivo no puede ser "..".
    - Una ruta no puede contener barras invertidas (\) ni barras invertidas consecutivas (\\).
    - El nombre de un subdirectorio o archivo no puede contener barras diagonales (/).
- Longitud máxima de ruta: 1,023 caracteres.
Limitaciones de las tareas de flujo de datos
- Las tareas de streaming requieren CPFS for Lingjun 2.6.0 o posterior y solo están disponibles mediante API.
- Máximo cuatro tareas por lotes simultáneas por flujo de datos. Las tareas de streaming simultáneas son ilimitadas.
- Limitaciones de importación
  - Al importar un enlace simbólico, este se convierte en un archivo de datos normal. La información del enlace simbólico se pierde.
  - Si un bucket de OSS tiene habilitado el control de versiones, solo se copia la última versión del objeto.
  - Los nombres de archivo o subdirectorio no pueden exceder 255 bytes.
- Limitaciones de exportación
  - Los enlaces simbólicos se exportan como objetos normales y vacíos. El archivo vinculado no se sincroniza.
  - Los enlaces físicos se exportan como archivos normales.
  - Los archivos de socket, dispositivo y tubería se exportan como objetos normales y vacíos.
  - Las rutas de directorio no pueden exceder 1,023 caracteres.

Métricas de rendimiento

Operación	Métrica	Descripción
Importación de datos	Ancho de banda para archivos de más de 1 GB	Ancho de banda máximo de importación: 5 GB/s. Para solicitar un mayor ancho de banda, envíe un ticket. Nota El ancho de banda real está limitado por el valor menor entre el ancho de banda de OSS y el ancho de banda de CPFS for Lingjun. Para obtener más información, consulte OSS Bandwidth y CPFS for Lingjun specifications. El flujo de datos comparte el ancho de banda de VPC con otros accesos. El valor predeterminado es de 10 GB/s de lectura y 5 GB/s de escritura por sistema de archivos. El ancho de banda disponible depende del ancho de banda restante de VPC. Los valores anteriores son valores de referencia en condiciones ideales. El rendimiento real depende del tamaño de los archivos, la cantidad de archivos y la concurrencia.
Importación de datos	IOPS para archivos de menos de 1 GB	Importación de un solo directorio o de varios directorios: 1,000.
Exportación de datos	Ancho de banda para archivos de más de 1 GB	Ancho de banda máximo de exportación: 10 GB/s. Para solicitar un mayor ancho de banda, envíe un ticket. Nota El ancho de banda real está limitado por el valor menor entre el ancho de banda de OSS y el ancho de banda de CPFS for Lingjun. Para obtener más información, consulte OSS Bandwidth y CPFS for Lingjun specifications. El flujo de datos comparte el ancho de banda de VPC con otros accesos. El valor predeterminado es de 10 GB/s de lectura y 5 GB/s de escritura por sistema de archivos. El ancho de banda disponible depende del ancho de banda restante de VPC. Los valores anteriores son valores de referencia en condiciones ideales. El rendimiento real depende del tamaño de los archivos, la cantidad de archivos y la concurrencia.
Exportación de datos	IOPS para archivos de menos de 1 GB	Exportación de un solo directorio o de varios directorios: 1,200.

Cómo lograr un mayor ancho de banda

Expanda la capacidad: aumentar la capacidad de almacenamiento de un sistema de archivos CPFS for Lingjun mejora directamente el ancho de banda lineal.
Aumente las cuotas: si alcanza el cuello de botella de la red de VPC (10 GB/s para lecturas o 5 GB/s para escrituras), envíe un ticket para solicitar un aumento de cuota de ancho de banda.

Por qué la velocidad real es inferior al valor de referencia

Compruebe si el bucket de OSS tiene políticas de limitación de ancho de banda o de limitación de velocidad.
Compruebe si las cargas de trabajo intensivas de lectura/escritura en el sistema de archivos CPFS for Lingjun compiten por el ancho de banda del flujo de datos.
Compruebe si la tarea de flujo de datos implica un gran número de operaciones con archivos pequeños, muchos directorios pequeños o directorios amplios que contienen muchos archivos pequeños, lo cual reduce significativamente el ancho de banda agregado.

Facturación

El flujo de datos para CPFS for Lingjun está en vista previa pública y no tiene costo.

Procedimiento

Cree un flujo de datos.
- Misma cuenta: Create a same-account dataflow.
- Entre cuentas: Create a cross-account dataflow.
Cree una tarea por lotes o una tarea de streaming.
- Streaming: Manage streaming tasks (OpenAPI).
- Por lotes: Manage batch tasks.
Compruebe los datos.

Después de que se complete una tarea, compruebe la exactitud de los datos en el destino.

Aviso
Si elimina los datos de origen sin comprobar los datos de destino, será responsable de cualquier pérdida de datos resultante.