Create and manage datasets in DataWorks - DataWorks - Centre de documentation Alibaba Cloud

Présentation

Les jeux de données permettent de lire et d'écrire directement des données stockées dans OSS et NAS depuis DataWorks. Vous pouvez créer plusieurs versions d'un jeu de données, suivre les évolutions au fil du temps et revenir à une version antérieure si nécessaire.

Facturation

La fonctionnalité de jeu de données DataWorks est gratuite. Le stockage OSS et NAS engendre des frais distincts de stockage et de réseau (Facturation OSS, Facturation NAS).

Créer un jeu de données

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Governance > Data Map dans le volet de navigation de gauche. Sur la page qui s'affiche, cliquez sur Go to Data Map.
Sur la page Data Map, cliquez sur Data Catalog () dans le volet de navigation de gauche. Ensuite, sous Catalogs, cliquez sur DataSet.
Cliquez sur votre espace de travail cible. Sur la page de liste des jeux de données, cliquez sur Create Dataset et configurez les paramètres décrits ci-dessous.

Remarque

Si un administrateur a configuré des attributs personnalisés pour le type de jeu de données, vous pouvez définir des valeurs telles que le domaine métier et le niveau de sensibilité des données lors de la création du jeu de données. Les attributs personnalisés peuvent hériter des valeurs définies au niveau de l'espace de travail.

Lorsque vous créez une nouvelle version, les valeurs des attributs personnalisés sont héritées du jeu de données lui-même et ne peuvent pas être modifiées sur la page de création de version. Pour les modifier, modifiez d'abord les attributs personnalisés du jeu de données.

À l'étape Dataset Configuration, après avoir sélectionné un Storage Type, l'étape Import Configuration affiche les champs spécifiques à ce type. Le tableau suivant répertorie les types de stockage disponibles ; reportez-vous à la sous-section correspondante pour obtenir le détail des champs.

Type de stockage	Cas d'utilisation typique	Disponibilité
Object Storage (OSS)	Montez un dossier d'un compartiment OSS afin que les nœuds de développement de données puissent lire et écrire des données non structurées.	Disponible par défaut.
Object Storage (COS)	Montez un répertoire de Tencent Cloud COS en réutilisant une source de données COS déjà enregistrée.	Disponible uniquement si l'espace de travail actuel comporte au moins une source de données COS enregistrée.
File Storage NAS (Usage général / Extreme)	Montez un sous-chemin d'un système de fichiers Alibaba Cloud NAS. Adapté aux scénarios nécessitant un accès partagé ou des lectures et écritures simultanées par plusieurs tâches.	Disponible par défaut. Les systèmes NAS Usage général et Extreme partagent le même formulaire ; la variante réelle dépend du système de fichiers sélectionné.
DLF Lance	Montez une table Lance située dans un catalogue Paimon sous une source de données DLF. L'enregistrement s'effectue au niveau de la table.	Nécessite une source de données DLF dans l'espace de travail actuel, avec au moins un catalogue Paimon.

Type de stockage : Object Storage (OSS)

Dataset Configuration :

Élément de configuration	Description
Type de stockage	Object Storage (OSS).
Type de contenu	Facultatif. Sélectionnez le type de données. Valeur par défaut : General.

Import Configuration :

Élément de configuration	Description
Chemin OSS	Chemin du dossier OSS à monter. Le compartiment et le point de terminaison sont analysés automatiquement à partir du chemin ; aucun champ séparé n'est requis. Remarque Assurez-vous de disposer des autorisations de compartiment OSS requises.
Chemin de montage par défaut	Chemin de montage du dossier OSS dans DataWorks. Valeur par défaut : `/mnt/data/`. Vous pouvez modifier le chemin de montage ; un chemin personnalisé doit commencer par `/mnt/`.

Type de stockage : Object Storage (COS)

Cette option apparaît dans la liste déroulante Storage Type uniquement si l'espace de travail actuel comporte au moins une source de données COS enregistrée. Si COS ne figure pas dans la liste, enregistrez et liez d'abord une source de données COS à l'espace de travail.

Dataset Configuration :

Élément de configuration	Description
Type de stockage	Object Storage (COS).
Type de contenu	Facultatif. Sélectionnez le type de données. Valeur par défaut : General.

Import Configuration :

Élément de configuration	Description
Source de données COS	Obligatoire. Sélectionnez une source de données COS déjà enregistrée dans l'espace de travail actuel. La liste déroulante prend en charge la recherche floue par nom de source de données et affiche l'ID de source de données pour chaque entrée. Si aucune source de données n'est disponible, utilisez le lien Create Data Source dans la liste déroulante pour en créer une.
Chemin COS	Obligatoire. Saisissez manuellement le chemin du répertoire COS à monter. Assurez-vous que le compte dispose des autorisations de lecture et d'écriture pour ce chemin.

Remarque

Les jeux de données COS ne prennent pas en charge un chemin de montage par défaut personnalisé. L'étape Application Configuration n'est donc pas affichée dans le formulaire de création.

Type de stockage : File Storage NAS (Usage général / Extreme)

Les systèmes NAS Usage général et Extreme partagent le même formulaire ; seuls les systèmes de fichiers affichés dans la liste déroulante File system diffèrent :

Lorsque vous sélectionnez File Storage (General-purpose NAS) comme Storage Type, la liste déroulante File system répertorie uniquement les systèmes NAS Usage général et le File system path par défaut est le répertoire racine /.
Lorsque vous sélectionnez File Storage (Extreme NAS) comme Storage Type, la liste déroulante File system répertorie uniquement les systèmes NAS Extreme et le File system path par défaut est /share/.

Dataset Configuration :

Élément de configuration	Description
Type de stockage	Sélectionnez File Storage (General-purpose NAS) ou File Storage (Extreme NAS file systems).
Type de contenu	Facultatif. Sélectionnez le type de données. Valeur par défaut : General.

Import Configuration :

Élément de configuration	Description
Système de fichiers	Obligatoire. Sélectionnez un système de fichiers NAS dans la région actuelle sous votre compte Alibaba Cloud. La liste déroulante est automatiquement filtrée selon le type de stockage sélectionné (Usage général ou Extreme). Les systèmes de fichiers utilisant le protocole SMB ne sont pas pris en charge.
Cible de montage du système de fichiers	Obligatoire. Configurez une cible de montage pour le système de fichiers NAS. Important Le VPC de la cible de montage doit être connecté au VPC du groupe de ressources : Utilisez le même VPC pour la cible de montage NAS et le groupe de ressources. Pour les scénarios multi-VPC, suivez la rubrique Présentation pour connecter le VPC de la cible de montage NAS au VPC du groupe de ressources.
Chemin du système de fichiers	Obligatoire. Chemin du dossier NAS à monter. La valeur par défaut dépend du type de stockage : le NAS Usage général utilise par défaut `/`, tandis que le NAS Extreme utilise par défaut `/share/`. Le chemin doit exister dans le système de fichiers NAS ; sinon, le jeu de données échouera lors de son utilisation.
Chemin de montage par défaut	Chemin de montage du dossier NAS dans DataWorks. Valeur par défaut : `/mnt/data/`. Vous pouvez modifier le chemin de montage ; un chemin personnalisé doit commencer par `/mnt/`.

Type de stockage : DLF Lance

Les jeux de données DLF Lance sont enregistrés au niveau de la table. Avant de commencer, enregistrez une source de données DLF dans l'espace de travail actuel et assurez-vous que DLF contient au moins un catalogue Paimon et une table Lance. Ce type de stockage n'affiche pas le champ Import format, car l'importation s'effectue par table plutôt que par répertoire ou format de fichier.

Dataset Configuration :

Élément de configuration	Description
Type de stockage	DLF Lance.
Type de contenu	Facultatif. Sélectionnez le type de données. Valeur par défaut : General.

Import Configuration :

Élément de configuration	Description
Nom du catalogue	Obligatoire. La liste déroulante répertorie uniquement les catalogues de type Paimon sous la source de données DLF.
Nom de la base de données	Obligatoire. La liste déroulante est renseignée en fonction du catalogue sélectionné et reste désactivée tant qu'aucun catalogue n'est choisi.
Nom de la table Lance	Obligatoire. La liste déroulante répertorie uniquement les tables de type Lance sous la base de données sélectionnée.
Chemin de montage par défaut	Chemin de montage de la table Lance dans DataWorks. Valeur par défaut : `/mnt/data/`. Vous pouvez modifier le chemin de montage ; un chemin personnalisé doit commencer par `/mnt/`.

Afficher les détails d'un jeu de données

Utilisez cette section pour rechercher un jeu de données existant. Elle explique comment accéder à la page des détails du jeu de données et quelles informations y sont disponibles. Pour modifier un jeu de données (créer une version, supprimer, etc.), consultez la rubrique Gérer les jeux de données.

Pour accéder à la page des détails du jeu de données : sous Data Catalog > DataSet, ouvrez la liste des jeux de données pour l'espace de travail cible, puis cliquez sur Details dans la colonne Actions du jeu de données ciblé.

Remarque

La page des détails propose deux mises en page. Lorsque vous ouvrez la page depuis le panneau Data Catalog (option par défaut), le coin supérieur droit affiche les boutons Create Version et Delete Dataset. Lorsque vous l'ouvrez directement à partir d'un résultat de recherche global ou d'un lien profond externe (route de détails autonome), l'en-tête de la page propose également un bouton Manage qui vous ramène au panneau de gestion de ce jeu de données dans Data Catalog. Le contenu des onglets est identique dans les deux mises en page.

La page des détails contient les onglets suivants :

Properties : Affiche le propriétaire du jeu de données, l'heure de création, l'espace de travail propriétaire, la description et autres champs essentiels. Si l'administrateur a configuré des attributs personnalisés, les cartes d'attributs personnalisés correspondantes s'affichent également (pour plus d'informations, consultez la rubrique Attributs personnalisés ; les valeurs des attributs personnalisés peuvent être héritées de l'espace de travail). Cet onglet intègre également un bloc Dataset Version qui répertorie toutes les versions du jeu de données et fournit des points d'entrée pour changer de version et accéder à la console OSS afin d'afficher les données d'origine (consultez la rubrique Afficher les données du jeu de données).
View Data : Prévisualise des exemples de données en fonction du type de stockage et du type de contenu du jeu de données, sans quitter DataWorks.

Remarque
Cet onglet n'est visible que pour les jeux de données dont le type de stockage est Object Storage (OSS) et dont le type de contenu est pris en charge par la liste de prévisualisation intégrée à la plateforme. Pour les jeux de données avec d'autres types de stockage ou de contenu, l'onglet ne s'affiche pas ; utilisez la rubrique Afficher les données du jeu de données pour accéder à la console OSS et inspecter les fichiers d'origine.
Lineage Information : Consultez la lignée entre le jeu de données et les tables amont ou les tâches aval.
Usage Notes : Maintenez et consultez les notes d'utilisation du jeu de données ; fonctionnalité équivalente à l'onglet Notes des détails de table.

Gérer les jeux de données

Utilisez cette section pour modifier un jeu de données existant. Les opérations sont organisées par tâche et déclenchées depuis le coin supérieur droit de la page des détails du jeu de données (voir Afficher les détails d'un jeu de données) ou depuis le bloc Dataset Version de l'onglet Properties.

Create Version (mettre à jour la cible du jeu de données) :

Dans le coin supérieur droit de la page des détails du jeu de données, cliquez sur Create Version pour ouvrir la page de création de version. Dans la zone Version Configuration, vous pouvez ressaisir le OSS Path ou la configuration du système de fichiers NAS (les champs affichés dépendent du type de stockage du jeu de données) et redéfinir le Default Mount Path. La zone Dataset Configuration (nom, type de stockage, type de contenu, attributs personnalisés, etc.) est en lecture seule lors de la création d'une nouvelle version ; pour modifier ces valeurs, modifiez d'abord le jeu de données lui-même.
Afficher les données du jeu de données (accéder à une console externe) :

Disponible uniquement pour les jeux de données dont le type de stockage est Object Storage (OSS). Dans l'onglet Properties, localisez le bloc Dataset Version, sélectionnez la version cible et cliquez sur le bouton View in OSS dans la zone d'opérations. Vous êtes redirigé vers la console OSS et accédez directement au chemin de stockage de cette version. Si le type de contenu du jeu de données prend en charge la prévisualisation intégrée, la zone d'opérations affiche plutôt un bouton Data View qui ouvre l'onglet Data View afin que vous puissiez prévisualiser les données sans quitter DataWorks.
Supprimer une version (révoquer une version unique) :

Dans l'onglet Properties, dans le coin supérieur droit du bloc Dataset Version, sélectionnez la version cible dans la liste déroulante et cliquez sur Delete. Seule la version sélectionnée est supprimée ; le jeu de données lui-même est conservé et ses autres versions restent accessibles.
Supprimer le jeu de données (supprimer l'intégralité du jeu de données) :

Dans le coin supérieur droit de la page des détails du jeu de données, cliquez sur Delete pour supprimer le jeu de données et toutes ses versions.

Important

La suppression d'un jeu de données ou d'une version retire uniquement l'enregistrement de la fonctionnalité de jeu de données DataWorks ; elle ne supprime pas les fichiers d'origine dans OSS, NAS ou tout autre stockage sous-jacent. Toutefois, la suppression est irréversible dans DataWorks, procédez donc avec prudence.

Utiliser un jeu de données

Vous pouvez utiliser les jeux de données dans Data Studio avec des nœuds Shell, des nœuds Python, le développement Notebook ou dans votre environnement de développement personnel.

Consultez la rubrique Utiliser un jeu de données.