DataWorks:Créer une table EMR

Informations générales

Après avoir créé une ressource de calcul EMR : développement de données hérité, la plateforme crée automatiquement un collecteur de métadonnées EMR dans Data Map pour récupérer les métadonnées du cluster. Si vous ne parvenez toujours pas à sélectionner une base de données EMR sur cette page après avoir créé la ressource de calcul EMR, accédez à Data Map, localisez le collecteur de métadonnées du cluster et relancez la collecte des métadonnées. Pour plus d'informations, consultez la section Collecter les métadonnées E-MapReduce.

Procédure

1. Accédez à la page DataStudio.

   Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Placez le curseur sur l'icône et cliquez sur Create Table > EMR > Table.

   Vous pouvez également localiser le workflow cible, cliquer avec le bouton droit sur EMR, puis sélectionner Create Table.

3. Dans la boîte de dialogue Create Table, configurez les paramètres de la table, tels que l'instance de moteur et le chemin d'accès.

   Pour Engine Type, sélectionnez EMR. Spécifiez la Database et le Name. Ensuite, cliquez sur Create.

4. Cliquez sur Create pour ouvrir l'éditeur de table.

5. Dans la section General, configurez les paramètres.

   Paramètre	Description
   Level-1 Folder	Le dossier de niveau 1 pour la table. Remarque Les dossiers de niveau 1 et de niveau 2 organisent les tables dans DataWorks pour en faciliter la gestion.
   Level-2 Folder	Le dossier de niveau 2 pour la table.
   Create Folder	Cliquez sur Create Folder pour accéder à la page Folder Management. Sur cette page, vous pouvez créer des dossiers de niveau 1 et de niveau 2.
   Refresh	Après avoir créé un dossier, cliquez sur Refresh.
   Description	Une brève description de la nouvelle table.

6. Dans la section Physical Model, configurez les paramètres.

   Les formats de stockage pris en charge incluent ORC, PARQUET, SEQUENCEFILE, AVRO, TEXTFILE, JSON, RCFile et Custom.

   Paramètre	Description
   Layer	Sélectionnez le niveau et la classification physique dans les listes déroulantes. Pour créer un nouveau niveau ou une nouvelle classification physique, contactez l'administrateur de votre espace de travail, cliquez sur Create Level et ajoutez-les sur la page Level Management. Après leur création, cliquez sur Refresh.
   Physical classification
   Partition Type	Les options sont Partitioned Table et Non-partitioned Table.
   Table Type	Les options sont Internal Table et External Table.
   Select storage format	Sélectionnez un format de stockage pour les fichiers de la table en fonction de vos besoins métier.

7. Dans la section Schema, configurez les paramètres.

   Paramètre	Description
   Create Field	Cliquez sur Create Field, configurez les informations du champ, puis cliquez sur Save pour ajouter un nouveau champ.
   Up	Ajuste l'ordre des champs pour une nouvelle table. Si vous réorganisez les champs d'une table existante, vous devez supprimer la table actuelle et en créer une nouvelle portant le même nom. Cette opération est interdite dans un environnement de production.
   Down
   Field Name	Le nom du champ. Il ne peut contenir que des lettres, des chiffres et des traits de soulignement (_).
   Field Type	Types de données pris en charge : TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL, VARCHAR, CHAR, STRING, BINARY, DATETIME, DATE, TIMESTAMP, BOOLEAN, ARRAY, MAP et STRUCT.
   Definition or Maximum Value Length	Si le type de données sélectionné nécessite une longueur, spécifiez-la dans la zone de texte.
   Description	Une description du champ.
   Primary Key	Définit le champ comme clé primaire. Une clé primaire est un concept métier qui garantit l'unicité des enregistrements. DataWorks n'applique pas de contraintes de clé primaire.
   Modify	Une fois le champ enregistré, cliquez sur Modify pour modifier sa configuration, puis cliquez sur Save.
   Delete	Supprime le champ. Remarque Si vous supprimez un champ d'une table existante et soumettez la modification, vous devez supprimer la table actuelle et en créer une nouvelle portant le même nom. Cette opération est interdite dans un environnement de production.
   Add Partition	Si vous définissez Partition Type sur Partitioned Table dans la section Physical Model, vous devez configurer les champs de partition. Vous pouvez ajouter une partition à la table actuelle. Si vous ajoutez une partition à une table existante, vous devez supprimer la table actuelle et en créer une nouvelle portant le même nom. Cette opération est interdite dans un environnement de production.

8. Dans la barre d'outils, cliquez sur l'icône pour soumettre la table EMR à l'environnement de production.

   Si vous utilisez un espace de travail en Standard Mode, vous devez d'abord soumettre la table à l'environnement de développement, puis à l'environnement de production.

   Remarque

   Lors de la soumission de la table, vous devez sélectionner un groupe de ressources de planification. Si vous utilisez un groupe de ressources serverless, DataWorks soumet une tâche de création de table au moteur et affiche les journaux d'exécution. Vous pouvez utiliser ces journaux pour résoudre les problèmes de soumission. Si aucun groupe de ressources serverless n'est disponible, achetez-en un et configurez-le. Pour plus d'informations, consultez la section Utiliser un groupe de ressources serverless.