Create and manage datasets in DataWorks - DataWorks - Centro de documentación de Alibaba Cloud

Los conjuntos de datos de DataWorks permiten gestionar de forma centralizada datos no estructurados, como imágenes y documentos. Puede respaldarlos con object storage (OSS o COS), File Storage NAS (de uso general o extremo) o tablas DLF Lance, además de dar seguimiento a los datos entre distintas versiones.

Descripción general

Los conjuntos de datos permiten leer y escribir información almacenada en OSS y NAS directamente desde DataWorks. Puede crear varias versiones de un conjunto de datos, dar seguimiento a los cambios a lo largo del tiempo y volver a una versión anterior si es necesario.

Facturación

La función de conjuntos de datos de DataWorks es gratuita. El almacenamiento en OSS y NAS genera cargos independientes por almacenamiento y red (OSS billing, NAS billing).

Creación de un conjunto de datos

Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en Data Governance > Data Map en el panel de navegación izquierdo. En la página que aparece, haga clic en Go to Data Map.
En la página Data Map, haga clic en Data Catalog () en el panel de navegación izquierdo. Asegúrese de estar en la pestaña Default Directory de la página Data Catalog. Luego, en Catalogs, haga clic en DataSet.
Haga clic en el espacio de trabajo de destino. En la página de lista de conjuntos de datos, haga clic en Create Dataset y configure los parámetros que se describen a continuación.

Nota

Si un administrador configuró custom attributes para el tipo de conjunto de datos, puede establecer valores como el dominio de negocio y el nivel de sensibilidad de los datos al crearlo. Los atributos personalizados pueden heredar los valores del espacio de trabajo.

Cuando crea una nueva versión, los valores de los atributos personalizados se heredan del propio conjunto de datos y no se pueden modificar en la página de creación de la versión. Para cambiarlos, edite primero los atributos personalizados del conjunto de datos.

En el paso Dataset Configuration, después de seleccionar un Storage Type, el paso Import Configuration muestra los campos específicos de ese tipo. A continuación se listan los tipos de almacenamiento disponibles; consulte la subsección correspondiente para conocer los detalles de cada campo.

Tipo de almacenamiento	Caso de uso típico	Disponibilidad
Object Storage (OSS)	Montar una carpeta en un bucket de OSS para que los nodos de desarrollo de datos lean y escriban información no estructurada.	Disponible de forma predeterminada.
Object Storage (COS)	Montar un directorio en Tencent Cloud COS mediante la reutilización de un origen de datos COS ya registrado.	Solo está disponible cuando el espacio de trabajo actual tiene registrado como mínimo un origen de datos COS.
File Storage NAS (uso general / extremo)	Montar una subruta de un sistema de archivos NAS de Alibaba Cloud. Recomendado para escenarios que requieren acceso compartido o lecturas y escrituras simultáneas en varias tareas.	Disponible de forma predeterminada. NAS de uso general y NAS extremo comparten el mismo formulario; la selección real del sistema de archivos determina la variante.
DLF Lance	Montar una tabla Lance ubicada en un catálogo Paimon dentro de un origen de datos DLF. El registro se realiza a nivel de tabla.	Requiere un origen de datos DLF en el espacio de trabajo actual con como mínimo un catálogo Paimon.

Tipo de almacenamiento: Object Storage (OSS)

Dataset Configuration:

Elemento de configuración

Descripción

Storage type

Object Storage (OSS).

Content type

Opcional. Seleccione el tipo de datos. Valor predeterminado: General.

Import Configuration:

Configuration item	Description
OSS path	Ruta de la carpeta de OSS que se va a montar. El bucket y el endpoint se analizan automáticamente a partir de la ruta, por lo que no se requieren campos adicionales. Nota Asegúrese de contar con los OSS Bucket permissions necesarios.
Default mount path	Ruta de montaje de la carpeta de OSS en DataWorks. Valor predeterminado: `/mnt/data/`. Puede cambiar esta ruta, pero una ruta personalizada debe comenzar con `/mnt/`.

Tipo de almacenamiento: Object Storage (COS)

Esta opción aparece en la lista desplegable Storage Type únicamente cuando el espacio de trabajo actual tiene registrado como mínimo un origen de datos COS. Si COS no aparece en la lista, registre y vincule primero un origen de datos COS al espacio de trabajo.

Dataset Configuration:

Elemento de configuración

Descripción

Storage type

Object Storage (COS).

Content type

Opcional. Seleccione el tipo de datos. Valor predeterminado: General.

Import Configuration:

Elemento de configuración	Descripción
COS data source	Obligatorio. Seleccione un origen de datos COS que ya esté registrado en el espacio de trabajo actual. La lista desplegable admite búsqueda aproximada por nombre de origen de datos y muestra el identificador correspondiente en cada entrada. Si no hay ningún origen de datos disponible, utilice el enlace Create Data Source de la lista desplegable para crear uno.
COS path	Obligatorio. Introduzca manualmente la ruta del directorio de COS que desea montar. Asegúrese de que la cuenta tenga permisos de lectura y escritura sobre dicha ruta.

Nota

Los conjuntos de datos COS no admiten una ruta de montaje predeterminada personalizada. Por este motivo, el paso Application Configuration no se muestra en el formulario de creación.

Tipo de almacenamiento: File Storage NAS (uso general / extremo)

NAS de uso general y NAS extremo comparten el mismo formulario. Lo único que varía son los sistemas de archivos que aparecen en la lista desplegable File system:

Si selecciona File Storage (General-purpose NAS) como Storage Type, la lista desplegable File system solo muestra sistemas NAS de uso general y la ruta predeterminada de File system path es el directorio raíz /.
Si selecciona File Storage (Extreme NAS) como Storage Type, la lista desplegable File system solo muestra sistemas NAS extremos y la ruta predeterminada de File system path es /share/.

Dataset Configuration:

Elemento de configuración	Descripción
Storage type	Seleccione File Storage (General-purpose NAS) o File Storage (Extreme NAS file systems).
Content type	Opcional. Seleccione el tipo de datos. Valor predeterminado: General.

Import Configuration:

Configuration item	Description
File system	Obligatorio. Seleccione un sistema de archivos NAS en la región actual bajo su cuenta de Alibaba Cloud. La lista desplegable se filtra automáticamente según el Storage Type seleccionado (uso general o extremo). No se admiten sistemas de archivos que usen el protocolo SMB.
File system mount target	Obligatorio. Configure un mount target para el sistema de archivos NAS. Importante La VPC del destino de montaje debe conectarse con la VPC del resource group: Utilice la misma VPC tanto para el destino de montaje de NAS como para el resource group. Para escenarios entre distintas VPC, siga las indicaciones de Overview para conectar la VPC del destino de montaje de NAS con la VPC del resource group.
File system path	Obligatorio. Ruta de la carpeta de NAS que se va a montar. El valor predeterminado depende del Storage Type: para NAS de uso general es `/` y para NAS extremo es `/share/`. La ruta debe existir en el sistema de archivos NAS; de lo contrario, el conjunto de datos fallará al utilizarse.
Default mount path	Ruta de montaje de la carpeta de NAS en DataWorks. Valor predeterminado: `/mnt/data/`. Puede cambiar esta ruta, pero una ruta personalizada debe comenzar con `/mnt/`.

Tipo de almacenamiento: DLF Lance

Los conjuntos de datos DLF Lance se registran a nivel de tabla. Antes de comenzar, registre un origen de datos DLF en el espacio de trabajo actual y asegúrese de que contenga como mínimo un catálogo Paimon y una tabla Lance. Este tipo de almacenamiento no muestra el campo Import format, ya que la importación opera por tabla y no por directorio ni por formato de archivo.

Dataset Configuration:

Elemento de configuración

Descripción

Storage type

DLF Lance.

Content type

Opcional. Seleccione el tipo de datos. Valor predeterminado: General.

Import Configuration:

Elemento de configuración	Descripción
Catalog name	Obligatorio. La lista desplegable solo muestra catálogos de tipo Paimon dentro del origen de datos DLF.
Database name	Obligatorio. La lista desplegable se llena según el catálogo seleccionado y permanece deshabilitada hasta que se elige uno.
Lance table name	Obligatorio. La lista desplegable solo muestra tablas de tipo Lance dentro de la base de datos seleccionada.
Default mount path	Ruta de montaje de la tabla Lance en DataWorks. Valor predeterminado: `/mnt/data/`. Puede cambiar esta ruta, pero una ruta personalizada debe comenzar con `/mnt/`.

Consulta de los detalles de un conjunto de datos

Utilice esta sección para buscar un conjunto de datos existente. Aquí se describe cómo abrir la página de detalles y qué información está disponible. Para modificar un conjunto de datos (crear una versión, eliminarlo, etc.), consulte Manage datasets.

Para acceder a la página de detalles del conjunto de datos: en Data Catalog > DataSet, abra la lista de conjuntos de datos del espacio de trabajo de destino y haga clic en Details en la columna Actions del conjunto de datos correspondiente.

Nota

La página de detalles tiene dos diseños. Cuando la abre desde el panel Data Catalog (comportamiento predeterminado), la esquina superior derecha ofrece los botones Create Version y Delete Dataset. Si la abre directamente desde un resultado de búsqueda global o un vínculo profundo externo (la ruta de detalles independiente), el encabezado de la página incluye además un botón Manage que lo devuelve al panel de gestión de ese conjunto de datos en Data Catalog. El contenido de las pestañas es idéntico en ambos diseños.

La página de detalles contiene las siguientes pestañas:

Properties: Muestra el propietario del conjunto de datos, la fecha de creación, el espacio de trabajo al que pertenece, la descripción y otros campos principales. Si el administrador configuró atributos personalizados, también se muestran las tarjetas correspondientes (para obtener más información, consulte Custom attributes; los valores de los atributos personalizados pueden heredarse del espacio de trabajo). Esta pestaña integra además un bloque Dataset Version que enumera todas las versiones del conjunto de datos y proporciona accesos para cambiar de versión o ir a la consola de OSS y consultar los datos originales (consulte View Dataset Data).
View Data: Permite previsualizar datos de muestra según el tipo de almacenamiento y el tipo de contenido del conjunto de datos, sin salir de DataWorks.

Nota
Esta pestaña solo es visible para los conjuntos de datos cuyo tipo de almacenamiento es Object Storage (OSS) y cuyo tipo de contenido es compatible con la lista de previsualización de la plataforma. En los conjuntos de datos con otros tipos de almacenamiento o contenido, la pestaña no se muestra; utilice View Dataset Data para ir a la consola de OSS e inspeccionar los archivos originales.
Lineage Information: Consulte el linaje entre el conjunto de datos y las tablas ascendentes o las tareas descendentes.
Usage Notes: Mantenga y consulte las notas de uso del conjunto de datos. Su funcionalidad es equivalente a la de la pestaña Notes en los detalles de una tabla.

Gestión de conjuntos de datos

Utilice esta sección para modificar un conjunto de datos existente. Las operaciones se organizan por tarea y se activan desde la esquina superior derecha de la página de detalles del conjunto de datos (consulte View dataset details) o desde el bloque Dataset Version en la pestaña Properties.

Create Version (actualiza el destino al que apunta el conjunto de datos):

En la esquina superior derecha de la página de detalles del conjunto de datos, haga clic en Create Version para abrir la página de creación de versiones. En el área Version Configuration, puede volver a introducir la ruta OSS Path o la configuración del sistema de archivos NAS (los campos mostrados dependen del tipo de almacenamiento del conjunto de datos) y restablecer la Default Mount Path. El área Dataset Configuration (nombre, tipo de almacenamiento, tipo de contenido, atributos personalizados, etc.) es de solo lectura cuando se crea una nueva versión; para cambiar esos valores, edite primero el conjunto de datos.
Consultar los datos del conjunto de datos (ir a una consola externa):

Solo está disponible para conjuntos de datos cuyo tipo de almacenamiento es Object Storage (OSS). En la pestaña Properties, ubique el bloque Dataset Version, seleccione la versión de destino y haga clic en el botón View in OSS del área de operaciones. Se le redirigirá a la consola de OSS directamente a la ruta de almacenamiento de esa versión. Si el tipo de contenido del conjunto de datos admite la previsualización dentro de la plataforma, el área de operaciones mostrará en su lugar un botón Data View que abre la pestaña Data View para previsualizar los datos sin salir de DataWorks.
Eliminar una versión (revocar una única versión):

En la pestaña Properties, en la esquina superior derecha del bloque Dataset Version, seleccione la versión de destino en la lista desplegable y haga clic en Delete. Solo se elimina la versión seleccionada; el conjunto de datos se conserva y sus demás versiones siguen accesibles.
Eliminar un conjunto de datos (quitar el conjunto de datos completo):

En la esquina superior derecha de la página de detalles del conjunto de datos, haga clic en Delete para eliminar el conjunto de datos y todas sus versiones.

Importante

Eliminar un conjunto de datos o una versión solo quita el registro de la función de conjuntos de datos de DataWorks; no elimina los archivos originales en OSS, NAS ni en ningún otro almacenamiento subyacente. Sin embargo, esta acción no se puede deshacer en DataWorks, así que proceda con precaución.

Uso de un conjunto de datos

Puede utilizar los conjuntos de datos en Data Studio con Shell nodes, Python nodes, Notebook development o en su personal development environment.

Use a dataset.