Pour charger des données externes dans un catalogue Data Lake Formation (DLF), configurez une source de données DLF 2.0 dans Data Integration de DataWorks. Cette approche managée et sans serveur permet de déplacer vos données sans écrire de code d'ingestion personnalisé. Cette rubrique explique comment ajouter une source de données DLF 2.0 et créer une tâche de synchronisation.
Fonctionnement
Data Integration de DataWorks se connecte à DLF via trois composants :
| Composant | Rôle |
|---|---|
| Source de données DLF 2.0 | Stocke les informations d'authentification et les métadonnées du catalogue utilisées par DataWorks pour accéder à DLF. |
| Groupe de ressources sans serveur | Exécute le déplacement des données. La connectivité réseau entre ce groupe de ressources et DLF doit réussir un test de connectivité avant l'enregistrement de la source de données. |
| Tâche de synchronisation | Définit le flux de données depuis votre source vers les tables cibles du catalogue DLF. |
Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :
Un espace de travail DataWorks. Pour en créer un, consultez Créer un espace de travail.
Un catalogue Paimon DLF. Pour en créer un, consultez Prise en main de DLF.
Une connectivité réseau configurée entre un groupe de ressources sans serveur et DLF. Si la connectivité n'est pas configurée, consultez les rubriques sur la connectivité réseau avant de poursuivre.
-
Si vous prévoyez d'utiliser un utilisateur RAM ou un rôle RAM comme identité d'accès :
Accordez à l'utilisateur RAM ou au rôle RAM les permissions nécessaires pour appeler les API REST requises.
Dans la console Data Lake Formation, accordez l'autorisation Data Editor sur les tables à synchroniser.
Étape 1 : Ajouter une source de données DLF 2.0
-
Accédez à la page Sources de données dans DataWorks.
Connectez-vous à la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région cible.
Dans le volet de navigation de gauche, choisissez More > Management Center. Sélectionnez l'espace de travail cible dans la liste déroulante, puis cliquez sur Go to Management Center.
Dans le volet de navigation de gauche de la page SettingCenter, cliquez sur Data Sources.
Sur la page Data Sources, cliquez sur Add Data Source. Dans la boîte de dialogue, recherchez Data Lake Formation et cliquez sur Data Lake Formation 2.0 (DLF 2.0).
-
Sur la page Add Data Lake Formation 2.0 (DLF 2.0) Data Source, configurez les paramètres suivants.
Paramètre Description Data Source Name Nom de la source de données. Il doit être unique au sein de l'espace de travail, contenir uniquement des lettres, des chiffres et des underscores ( _), et commencer par une lettre.Configuration Mode La seule valeur valide est Alibaba Cloud Instance Mode. Access Identity Identité utilisée par DataWorks pour accéder à DLF. Options : Alibaba Cloud Account, Alibaba Cloud RAM User ou Alibaba Cloud RAM Role. DLF Catalog Catalogue DLF auquel se connecter. Sélectionnez un catalogue situé dans la même région que l'espace de travail DataWorks. Database Name Base de données au sein du catalogue DLF sélectionné. -
Dans la section Connection Configuration, testez la connectivité réseau entre la source de données et un groupe de ressources sans serveur.
Si le test réussit, cliquez sur Complete Creation.
Si le test échoue, consultez les rubriques sur la connectivité réseau pour résoudre le problème avant d'enregistrer.
Étape 2 : Créer une tâche de synchronisation
Une fois la source de données DLF 2.0 ajoutée, configurez une tâche de synchronisation pour déplacer les données vers le catalogue. Pour obtenir des instructions de configuration, consultez les rubriques sur la synchronisation des données vers DLF 2.0.
Vérification et étapes suivantes
Après l'exécution de la tâche de synchronisation, vérifiez le résultat dans la console DLF : accédez à votre catalogue et confirmez que les tables cibles contiennent les données attendues.
Pour en savoir plus sur la gestion des données dans DLF, consultez Prise en main de DLF.