DataWorks:Créer et utiliser des tables MaxCompute

Notes

• Principes d'exploitation des tables

  Respectez les exigences opérationnelles de base de MaxCompute lors de la gestion de ses tables. Par exemple, vous ne pouvez pas supprimer de champs d'une table après sa création. Pour plus d'informations, consultez la section Limites d'utilisation des opérations sur les tables.

• Modifications des propriétés physiques des tables

  Modifiez les propriétés physiques d'une table MaxCompute en exécutant des commandes SQL MaxCompute. Pour plus d'informations, consultez la section Opérations sur les tables. En raison des contrôles d'autorisation de DataWorks, un utilisateur RAM peut rencontrer des erreurs lors de l'exécution de commandes d'opération sur les tables. Pour plus d'informations, consultez la section Détails du contrôle des autorisations d'accès aux données MaxCompute.

• Latence de mise à jour des métadonnées

  Les opérations sur les métadonnées peuvent être retardées. Si vous ne trouvez pas une table après l'avoir créée ou mise à jour, ou si une table reste visible après sa suppression, actualisez les métadonnées de la table dans Data Map pour synchroniser manuellement les modifications.

Prérequis

Vous avez lié un moteur de calcul MaxCompute.

Accéder à DataStudio

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

Créer une table MaxCompute

Méthodes de création de table

Créez une table depuis la page de gestion des tables ou au sein d'un flux de travail spécifique.

• Création depuis la gestion des tables

  Dans le volet de navigation de gauche de DataStudio, choisissez Table Management et cliquez sur l'icône pour créer une table. Si le module Table Management n'est pas affiché dans le volet de navigation, consultez la section Personnaliser l'affichage des modules dans DataStudio pour l'ajouter.

• Création au sein d'un flux de travail

  DataWorks utilise des flux de travail pour organiser et gérer le code. Créez des tables liées à votre activité au sein d'un flux de travail. Si vous ne disposez pas de flux de travail, créez-en un au préalable. Si vous disposez déjà d'un flux de travail, faites un clic droit dessus et choisissez Create Table > MaxCompute > Table.

  Important

  Si vous ne trouvez pas le bouton, vérifiez qu'un moteur de calcul MaxCompute est lié à l'espace de travail.

Configurer les informations de base de la table

Après avoir créé une table, l'onglet de l'éditeur de table s'ouvre. Sur cet onglet, configurez les informations de la table en utilisant soit le mode DDL, soit l'interface visuelle.

• Configurer la table en mode DDL

  Cliquez sur l'icône dans l'onglet de l'éditeur de table et utilisez une instruction standard de création de table MaxCompute pour générer le schéma de la table MaxCompute. Après avoir utilisé une instruction DDL pour générer le schéma, DataWorks remplit automatiquement les champs de configuration dans l'onglet de l'éditeur. Cette méthode est idéale pour les utilisateurs qui préfèrent écrire du code.

  Important

  • Le nom de la table est défini avant l'ouverture de l'onglet de l'éditeur. Vous ne pouvez pas modifier le nom de la table dans l'instruction DDL, sous peine de provoquer une erreur.

  • Le mode DDL prend uniquement en charge la définition des propriétés physiques d'une table. Modifiez les propriétés métier dans l'onglet de l'éditeur de table après que l'instruction a rempli l'interface utilisateur.

• Configurer la table à l'aide de l'interface visuelle

  Suivez les guides disponibles dans l'onglet de l'éditeur de table pour configurer les propriétés de la table. Cette méthode est pratique si vous préférez une interface visuelle. L'exemple suivant montre comment configurer une table à l'aide de l'interface visuelle.

  1. Configurez les propriétés General. Les principaux paramètres sont décrits ci-dessous.

     Parameter	Description
     Display name	Le nom d'affichage de la table.
     Theme	Dans DataWorks, les thèmes fonctionnent comme des dossiers, vous permettant de catégoriser les tables par objectif métier. Définissez des thèmes de niveau 1 et de niveau 2 pour organiser les tables. Remarque Ces thèmes vous aident à organiser et à trouver des tables sur la page Table Management. Si aucun thème approprié n'est disponible, créez-en un. Pour plus d'informations, consultez la section Define table themes.

  2. Concevez le Physical Model. Les paramètres sont décrits ci-dessous.

     Parameter	Description
     Level	La couche d'entrepôt de données pour la table. Les niveaux définissent les couches d'entrepôt de données, qui sont généralement divisées en Operational Data Store (ODS), Dimension (DIM), Data Warehouse Detail (DWD), Data Warehouse Summary (DWS) et Application Data Service (ADS). Attribuez la table à un niveau approprié en fonction de son objectif métier. Remarque Vous pouvez également personnaliser les niveaux. Pour plus d'informations, consultez la section Level management.
     Category	Définit la catégorie physique de la table, ce qui offre une classification plus détaillée d'un point de vue métier. Les catégories courantes incluent Basic Business, Advanced Business et Other. Remarque Vous pouvez également personnaliser les catégories physiques. Pour plus d'informations, consultez la section Category management.
     Lifecycle	Le cycle de vie de la table. Pour plus d'informations sur le cycle de vie d'une table MaxCompute, consultez la section Lifecycle. Pour obtenir des informations sur les opérations de cycle de vie sur une table MaxCompute, consultez la section Lifecycle operations.
     Partition type	Spécifie si la table est partitionnée ou non partitionnée. Pour plus d'informations sur les tables partitionnées et non partitionnées dans MaxCompute, consultez la section Partition.
     Table type	Spécifie si la table est une table interne ou externe. Les tables internes gèrent leurs propres données au sein de MaxCompute, ce qui conduit souvent à des requêtes plus rapides. Les tables externes font référence à des données stockées en dehors de MaxCompute, ce qui peut économiser de l'espace de stockage. Pour plus d'informations sur les tables internes et externes dans MaxCompute, consultez la section Table.

  3. Concevez le Schema. La page de conception du schéma est divisée en deux sections : définition des champs et définition des partitions. La section de définition des champs fournit les boutons Add Field, Move Up et Move Down en haut. Ajoutez un champ en cliquant sur le lien + Add Field. La section de définition des partitions inclut des paramètres supplémentaires pour Date Partition Format (par exemple, yyyymmdd) et Date Partition Granularity. Les principaux paramètres sont décrits ci-dessous.

     Parameter	Description
     Data type	Le type de données du champ. Sélectionnez uniquement les types de données pris en charge par MaxCompute dans la liste déroulante. Pour plus d'informations sur les types de données MaxCompute, consultez la section Data type editions.
     Field security level	Le niveau de sécurité du champ. Ce paramètre n'est visible que si le contrôle d'accès basé sur les étiquettes est activé pour le projet MaxCompute. Pour plus d'informations sur les niveaux de sécurité des champs dans MaxCompute, consultez la section Label-based access control.
     Primary key	La clé primaire métier pour la table. MaxCompute n'applique pas les clés primaires ; ce paramètre sert uniquement à des fins de gestion métier.

Valider et déployer la table MaxCompute

Après avoir défini le schéma de la table, validez-le dans les environnements de développement et de production.

Écrire dans et exporter depuis des tables MaxCompute

Cette section décrit comment importer et exporter des données pour votre table MaxCompute.

Écrire des données dans une table MaxCompute

Utilisez une tâche de synchronisation des données ou un nœud MaxCompute pour écrire des données dans une table MaxCompute. DataWorks prend également en charge le chargement de données locales dans une table MaxCompute.

Exporter des données depuis une table MaxCompute

Après avoir interrogé des données dans DataStudio, exportez-les vers un fichier local en cliquant sur le bouton Download dans le panneau des résultats. Par défaut, vous pouvez télécharger un maximum de 10 000 enregistrements à la fois. Les administrateurs de locataire peuvent modifier cette limite sur la page Data Query and Analysis Control dans Security Center.

Interroger des données dans une table MaxCompute

Utilisez un nœud ODPS SQL ou la fonctionnalité ad hoc query pour interroger des données dans une table MaxCompute en exécutant des instructions SQL.

Autorisations par défaut

Les espaces de travail en basic mode ne prennent pas en charge le contrôle d'autorisation granulaire ni l'isolation entre les environnements de développement et de production. Les exemples suivants supposent un espace de travail en standard mode.

Comportement d'accès aux données

Dans DataStudio, interrogez des données dans d'autres projets en préfixant le nom de la table avec le nom du projet. Le tableau suivant décrit les méthodes d'accès inter-projets et les comptes utilisés dans différents environnements.

select col1 from projectname_dev.tablename;

select col1 from projectname.tablename;

select col1 from tablename;

Afficher les actifs de données MaxCompute

Affichez les actifs de données MaxCompute de plusieurs façons.

Afficher les tables de production dans un locataire

Le module Tenant Tables dans DataStudio répertorie toutes les tables de production de la région actuelle qui appartiennent à votre compte Alibaba Cloud.

Afficher les métadonnées

Accédez à Data Map pour afficher les détails et les métadonnées d'une table MaxCompute.

Afficher la lignée de la table

Sur la page des détails de la table dans Data Map, affichez la lignée amont et aval de la table.

Gérer les tables MaxCompute par lots

Gérez plusieurs tables MaxCompute simultanément de plusieurs façons.

Supprimer des tables MaxCompute par lots

Transférer la propriété des tables par lots

Accédez à My Data dans Data Map pour transférer la propriété de plusieurs tables dont vous êtes propriétaire.

Modifier le cycle de vie des tables par lots

Accédez à My Data dans Data Map pour modifier le cycle de vie de plusieurs tables dont vous êtes propriétaire.