DataWorks:Uso de datasets

Requisitos previos: crear un dataset

1. Create a bucket o create a file system.

   Este ejemplo utiliza un dataset de OSS. Cree un bucket llamado datasets-oss en la región China (Shanghai) y, a continuación, cree el directorio /dataset01/v1.

2. Create a dataset.

   En este ejemplo, cree un dataset de OSS llamado datasets-oss y monte la ruta de OSS oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/ en /mnt/data/dataset01.

1. Configurar el dataset para un nodo

En la sección Debug Configuration de un nodo Shell o Python, configure el dataset datasets-oss.

2. Usar el dataset en un nodo

Este ejemplo utiliza un nodo Shell. Después de adjuntar un dataset de OSS al nodo Shell, puede gestionar los datos de OSS en el código del nodo como si fueran archivos locales. En el siguiente ejemplo se usa la herramienta predeterminada ossfs 2.0 para escribir el archivo file01.txt en la ruta de montaje /mnt/data/dataset01 del dataset de OSS datasets-oss.

Código de ejemplo:

echo "Hello World" > /mnt/data/dataset01/file01.txt
ls -tl /mnt/data/dataset01

En el panel Debug Configurations, ubicado a la derecha, abra la pestaña Dataset y seleccione el dataset personalizado datasets-oss/V1. Confirme el mensaje de autorización correcta del resource group y asegúrese de que el interruptor Read-only esté desactivado. Después de ejecutar el nodo, el registro mostrará que se creó el archivo file01.txt (12 bytes, permisos: rwxrwxrwx), que el código de salida es 0, que el tiempo transcurrido es de 0.741 s y que el estado es FINISH.

3. Comprobar los datos en OSS

Una vez que se ejecuta el código de 2. Use the dataset in a node, el archivo se escribe automáticamente en la ruta de almacenamiento de OSS que corresponde a la ruta de montaje del dataset. Puede consultar el archivo en dicha ruta de almacenamiento de OSS. En este ejemplo, la ruta de montaje /mnt/data/dataset01 del dataset de OSS datasets-oss se asigna a oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/. La siguiente figura muestra un ejemplo de los datos escritos en la ruta de OSS.

En esta ruta encontrará el archivo escrito file01.txt (0.012 KB, almacenamiento estándar).

Requisitos previos: crear un dataset

1. Create a bucket o create a file system.

2. Create a dataset.

   Este ejemplo utiliza un dataset basado en NAS. Cree un dataset de NAS llamado datasets-nas en la región China (Shanghai) y monte la ruta de NAS nas://****.cn-shanghai.nas.aliyuncs.com/mnt/dataset02/v1/ en /mnt/data/dataset02.

1. Configurar un dataset para el entorno personal

Cree una instancia de un personal development environment y seleccione el dataset de NAS existente datasets-nas.

En la página de configuración, seleccione datasets-nas en la lista desplegable Dataset y especifique su ruta de montaje correspondiente.

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}

2. Usar el dataset en un Notebook

1. En la parte superior de la página de DataStudio, cambie a personal development environment instance y, a continuación, cree un Notebook for basic development.

2. En el Notebook, agregue el siguiente contenido.

   1. Escriba datos en la ruta especificada del dataset.

      import os
      # Define the destination path and file name
      file_path = "/mnt/data/dataset02/file02.txt"
      # Make sure that the directory exists. If the directory does not exist, create it.
      os.makedirs(os.path.dirname(file_path),exist_ok=True)
      # Write the content
      content = "Hello World!"
      try:
          with open(file_path, "w", encoding="utf-8") as file:
              file.write(content)
          print(f"The file is successfully written to {file_path}")
      except Exception as e:
          print(f"Failed to write the file: {str(e)}")

   2. Lea datos de la ruta especificada del dataset.

      file_path = "/mnt/data/dataset02/file02.txt"
      with open(file_path, "r") as file:
          content = file.read()
      content

3. Ejecute los dos fragmentos de código de Python por separado.

   Nota

   Antes de ejecutar el código, ensure you have selected the correct Python kernel. Este ejemplo utiliza Python 3.11.9.

   Primer fragmento de código: escriba datos en la ruta especificada del dataset.

   import os
   # Define the destination path and file name
   file_path = "/mnt/data/dataset02/file02.txt"
   # Make sure that the directory exists. If the directory does not exist, create it.
   os.makedirs(os.path.dirname(file_path),exist_ok=True)
   # Write the content
   content = "Hello World!"
   try:
       with open(file_path, "w", encoding="utf-8") as file:
           file.write(content)
           print(f"The file is successfully written to {file_path}")
   except Exception as e:
       print(f"Failed to write the file: {str(e)}")

   Si el resultado es The file is successfully written to /mnt/data/dataset02/file02.txt, la operación de escritura se completó correctamente. Segundo fragmento de código: lea datos de la ruta especificada del dataset.

   file_path = "/mnt/data/dataset02/file02.txt"
   with open(file_path, "r") as file:
       content = file.read()
       content

   Si el resultado es 'Hello World!', la operación de lectura se completó correctamente.

3. Configurar la programación

En el lado derecho del nodo Notebook, haga clic en Scheduling Settings y agregue las opciones del dataset. Utilice los mismos parámetros que configuró para la instancia del entorno de desarrollo personal.

Montaje de OSS con ossfs 2.0

ossfs 2.0 es un cliente que monta OSS para ofrecer acceso de alto rendimiento. Proporciona un alto rendimiento de lectura y escritura secuencial y aprovecha al máximo el ancho de banda de OSS. Es adecuado para aplicaciones intensivas en cómputo que requieren un alto rendimiento de E/S secuencial, como el entrenamiento de IA y el procesamiento de big data. Estos escenarios de carga de trabajo implican principalmente lecturas secuenciales y aleatorias, así como escrituras secuenciales (solo anexión), y no requieren semántica POSIX completa.

En la sección DatasetsAdvanced Settings, puede establecer parámetros avanzados. Separe varias opciones con una coma (,). Para obtener instrucciones sobre cómo usar parámetros avanzados y conocer más opciones de configuración, consulte ossfs 2.0 mount options. A continuación se muestran varios escenarios comunes:

• Origen de datos inmutable: Si ninguno de los archivos que lee se modifica durante una tarea, puede establecer un tiempo de caché prolongado para reducir la cantidad de solicitudes de metadatos. Un escenario típico consiste en leer un lote de archivos existentes y generar un nuevo lote después del procesamiento.

  {"mountOssType":"ossfs", "attr_timeout": "7200"}

• Operaciones rápidas de lectura y escritura: Use un tiempo de caché de metadatos corto para equilibrar la eficiencia de la caché y la actualización de los datos.

  {"mountOssType":"ossfs", "attr_timeout": "3", "negative_timeout":"0"}

• Vista coherente para tareas distribuidas: De forma predeterminada, ossfs actualiza los datos de los archivos según la caché de metadatos. Use la siguiente configuración para lograr una vista sincronizada en varios nodos.

  { "mountOssType":"ossfs","negative_timeout": "0", "close_to_open":"false"}

• Error OOM causado por abrir demasiados archivos: Una alta concurrencia de tareas con una gran cantidad de archivos abiertos simultáneamente puede provocar problemas de falta de memoria (OOM). Use la siguiente configuración para aliviar la presión sobre la memoria.

  {"mountOssType":"ossfs","readdirplus": "false", "inode_cache_eviction_threshold":"300000"}

Montaje de OSS con ossfs 1.0

ossfs 1.0 monta un bucket de OSS como un sistema de archivos local en un sistema Linux. En comparación con ossfs 2.0, ossfs 1.0 ofrece una compatibilidad más completa con las operaciones de archivos. Si encuentra incompatibilidades en las operaciones de archivos con ossfs 2.0, intente usar ossfs 1.0.

Para más información sobre los parámetros necesarios para montar con ossfs 1.0, consulte ossfs 1.0 mount options.

Montaje de OSS con JindoFuse

Puede usar el componente JindoFuse para montar un dataset de OSS en una ruta específica dentro de un contenedor. Esta herramienta es adecuada para los siguientes escenarios:

• Desea leer datos de OSS como si fueran un dataset local, o bien el dataset es lo suficientemente pequeño para aprovechar la aceleración de la caché local de JindoFuse.

• Necesita escribir datos en OSS.

En la sección DatasetsAdvanced Settings, puede establecer parámetros avanzados. Separe varias opciones con una coma (,). El siguiente código es solo un ejemplo. Para consultar las descripciones de los parámetros y más opciones de configuración, consulte JindoFuse User Guide y Use JindoFuse to mount and access data.

{ 
  "mountOssType":"jindofuse",
  "fs.oss.download.thread.concurrency": "2 × number of CPU cores",
  "fs.oss.upload.thread.concurrency": "2 × number of CPU cores",
  "attr_timeout": 3,
  "entry_timeout": 0,
  "negative_timeout": 0
}

Uso de un dataset de NAS

Para los datasets basados en NAS, puede especificar configuraciones (mediante el parámetro nasOptions) para acceder a un sistema de archivos Apsara File Storage NAS (NAS) basado en NFS. A continuación se muestra la configuración predeterminada. Para personalizar los valores de los parámetros, consulte Manually mount an NFS file system.

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}

¿Qué debo hacer si aparece el error "FileNotFoundError: /etc/oss-secret/AccessKeyId" al leer datos de un dataset de OSS?

Este error suele indicar que el resource group de DataWorks no pudo obtener las credenciales necesarias para acceder a OSS. Para solucionar el problema, siga estos pasos:

1. Compruebe que haya completado la autorización de OSS en el panel de configuración del dataset. El aviso de esta autorización aparece la primera vez que usa el dataset.

2. Compruebe que el resource group serverless se encuentre en un estado normal y no esté suspendido.

3. Si tanto la autorización como el estado del resource group son normales pero el error persiste, póngase en contacto con el soporte técnico para depurar el proceso de inyección de credenciales de ossfs.