AnalyticDB:Importer des données locales à l'aide de Kettle

Contexte

Kettle est un outil ETL (extraction, transformation et chargement) open source populaire dédié à l'intégration, à la transformation et à la migration des données. Il prend en charge diverses bases de données relationnelles et sources de données NoSQL telles que HBase et MongoDB, ainsi que des sources de données basées sur des fichiers comme Excel et Access. Des plug-ins permettent d'étendre ses fonctionnalités à d'autres sources de données.

Pour plus d'informations, consultez le site officiel Kettle.

Prérequis

• Kettle est installé.

• Une base de données et une table de destination ont été créées dans AnalyticDB for MySQL.

• L'adresse IP de la machine sur laquelle Kettle est installé figure dans la liste d'autorisation du cluster AnalyticDB for MySQL.

• Si vous devez vous connecter à votre cluster AnalyticDB for MySQL via Internet, demandez un endpoint public.

Procédure

1. Ouvrez Kettle. Dans la barre de menus, cliquez sur File > Create > Transform pour créer une nouvelle transformation.

2. Dans la barre de menus, cliquez sur File > Create > Database Connection pour créer une nouvelle connexion à la base de données.

   Paramètre	Description
   Connection Name	Saisissez un nom pour identifier la connexion.
   Connection type	Sélectionnez MySQL.
   Encryption	Sélectionnez Native (JDBC).
   Host Name	L'endpoint de votre AnalyticDB for MySQL cluster. Vous trouverez cet endpoint sur la page Cluster Information de la console AnalyticDB for MySQL.
   Database Name	Le nom de votre base de données dans AnalyticDB for MySQL.
   Port	3306
   Database Account	Le compte utilisé pour accéder au cluster AnalyticDB for MySQL. Il peut s'agir de l'un des types de comptes suivants : compte privilégié compte standard
   Password	Le mot de passe du compte utilisateur spécifié.

   Remarque

   Ne cochez pas la case Use Result Streaming Cursor.

3. Une fois la configuration des paramètres terminée, cliquez sur Test. Dans la boîte de dialogue Database Connection Test qui s'affiche, suivez les instructions pour vérifier la connexion à la base de données AnalyticDB for MySQL, puis cliquez sur OK si le test est concluant.

4. Dans le panneau Core objects situé à gauche, développez le dossier Input et faites glisser l'étape Excel Input vers l'espace de travail principal.

5. Double-cliquez sur Excel Input dans l'espace de travail. Dans la boîte de dialogue Excel Input, cliquez sur Browse pour charger le tableau Excel à importer, puis cliquez sur Add afin de l'ajouter à Selected files.

   Configurez les paramètres des onglets Sheets, Content et Field. Cliquez sur Preview records pour vérifier que les données sont lues correctement.

6. Dans le panneau Core objects, développez le dossier Output et faites glisser l'étape Table output vers l'espace de travail.

7. Créez un lien (une ligne de connexion) entre l'étape Excel Input et l'étape Table output.

8. Double-cliquez sur l'étape Table output pour ouvrir la boîte de dialogue Table output et configurez les paramètres suivants.

   • Target schema : saisissez le nom de votre base de données AnalyticDB for MySQL.

   • Target Table : saisissez le nom de la table de destination dans votre base de données AnalyticDB for MySQL.

   • Cochez la case Specify database fields.

   • Cochez la case Use batch insert.

   Dans l'onglet Database Fields de Table Output, cliquez sur Get Fields et Input Field Mapping pour configurer le mappage entre les colonnes du fichier Excel et les noms des colonnes de la table AnalyticDB for MySQL.

9. Cliquez sur l'icône Run (un triangle vert) pour démarrer la transformation. Surveillez les journaux d'exécution et l'état dans le panneau Log en bas de la fenêtre.

   Une fois les données importées, vous pouvez exécuter des requêtes analytiques dessus dans AnalyticDB for MySQL.