Créer une source de données dans EMR Workflow - E-MapReduce

Les fonctionnalités de gestion des sources de données d'E-MapReduce (EMR) Workflow vous permettent de configurer des sources de données pour répondre à vos besoins en matière de stockage et d'accès aux données. Cette rubrique explique comment créer, modifier et supprimer une source de données.

Limites

Le cluster hébergeant la source de données et le cluster utilisé pour exécuter un workflow doivent être déployés dans le même réseau privé virtuel (VPC).

Créer une source de données

Accédez à la page Datasource.
1. Connectez-vous à la console EMR avec votre compte Alibaba Cloud ou un utilisateur RAM.
2. Dans le volet de navigation de gauche, choisissez EMR Workbench > Workflow.
3. Sur la page Workflow, localisez l'espace de travail cible et cliquez sur Console dans la colonne Actions.
4. Cliquez sur l'onglet Data Source Center.
Sur la page Data Source Center, cliquez sur Create Data Source.

Dans la boîte de dialogue CreateDataSource, configurez les paramètres. Le tableau suivant décrit ces paramètres.

Source de données Hive/Impala

Paramètre	Obligatoire	Description
Datasource	Oui	Type de la source de données.
Data Source Name	Oui	Nom de la source de données.
Description	Non	Description de la source de données.
Host IP Address	Oui	Adresse IP ou nom d'hôte pour la connexion Hive/Impala.
Port	Oui	Le port de la source de données Hive/Impala est 10000.
Username	Oui	Nom d'utilisateur pour la connexion Hive/Impala.
Password	Non	Mot de passe pour la connexion Hive/Impala.
Database Name	Oui	Nom de la base de données pour la connexion Hive/Impala.
JDBC connection parameters	Non	Paramètres de connexion à la source de données. Le format est `{"key1":"value1","key2":"value2"...}`.
Test Connectivity	Non	Vous pouvez utiliser un groupe de ressources de planification pour tester la connexion lors de l'ajout de la source de données. Remarque Si un workflow utilise cette source de données, assurez-vous que la connectivité entre la source de données et le groupe de ressources de planification est établie. Vous ne pouvez tester la connectivité qu'entre la source de données et le groupe de ressources par défaut ou les groupes de ressources du cluster.

Source de données Presto

Paramètre	Obligatoire	Description
Datasource	Oui	Type de la source de données.
Data Source Name	Oui	Nom de la source de données.
Description	Non	Description de la source de données.
Host IP Address	Oui	Adresse IP ou nom d'hôte pour la connexion à la source de données.
Port	Oui	Le port de la source de données Presto est 8080.
Username	Oui	Nom d'utilisateur pour la connexion Presto.
Password	Non	Mot de passe pour la connexion Presto.
Catalog	Non	Nom du catalogue pour la connexion Presto.
Database Name	Oui	Nom de la base de données pour la connexion Presto.
JDBC connection parameters	Non	Paramètres de connexion à la source de données. Le format est `{"key1":"value1","key2":"value2"...}`.
Test Connectivity	Non	Vous pouvez utiliser un groupe de ressources de planification pour tester la connexion lors de l'ajout de la source de données. Remarque Si un workflow utilise cette source de données, assurez-vous que la connectivité entre la source de données et le groupe de ressources de planification est établie. Vous ne pouvez tester la connectivité qu'entre la source de données et le groupe de ressources par défaut ou les groupes de ressources du cluster.

Source de données Doris

Paramètre	Obligatoire	Description
Datasource	Oui	Type de la source de données.
Data Source Name	Oui	Nom de la source de données.
Description	Non	Description de la source de données.
Host IP Address	Oui	Adresse IP ou nom d'hôte pour la connexion Doris.
Port	Oui	Le port de la source de données Doris est 9030.
Username	Oui	Nom d'utilisateur pour la connexion Doris.
Password	Non	Mot de passe pour la connexion Doris.
FE Endpoint	Non	Adresse IP et port du nœud frontend (FE), au format `ip:port`. Séparez plusieurs nœuds par des virgules.
Database Name	Oui	Nom de la base de données pour la connexion Doris.
JDBC connection parameters	Non	Paramètres de connexion Doris. Le format est `{"key1":"value1","key2":"value2"...}`.
Test Connectivity	Non	Vous pouvez utiliser un groupe de ressources de planification pour tester la connexion lors de l'ajout de la source de données. Remarque Si un workflow utilise cette source de données, assurez-vous que la connectivité entre la source de données et le groupe de ressources de planification est établie. Vous ne pouvez tester la connectivité qu'entre la source de données et le groupe de ressources par défaut ou les groupes de ressources du cluster.

Source de données SSH

Paramètre	Obligatoire	Description
Datasource	Oui	Type de la source de données.
Data Source Name	Oui	Nom de la source de données.
Description	Non	Description de la source de données.
Host IP Address	Oui	Adresse IP ou nom d'hôte pour la connexion SSH.
Port	Oui	Le port de la source de données SSH est 22.
Username	Oui	Nom d'utilisateur pour la connexion SSH.
Password	Non	Mot de passe pour la connexion SSH.
Clé privée	Non	Clé privée pour la connexion SSH.
Test Connectivity	Non	Vous pouvez utiliser un groupe de ressources de planification pour tester la connexion lors de l'ajout de la source de données. Remarque Si un workflow utilise cette source de données, assurez-vous que la connectivité entre la source de données et le groupe de ressources de planification est établie. Vous ne pouvez tester la connectivité qu'entre la source de données et le groupe de ressources par défaut ou les groupes de ressources du cluster.

Source de données StarRocks

Paramètre	Obligatoire	Description
Datasource	Oui	Type de la source de données.
Data Source Name	Oui	Nom de la source de données.
Description	Non	Description de la source de données.
Host IP Address	Oui	Adresse IP ou nom d'hôte pour la connexion StarRocks.
Port	Oui	Le port de la source de données StarRocks est 9030.
Username	Oui	Nom d'utilisateur pour la connexion StarRocks.
Password	Non	Mot de passe pour la connexion StarRocks.
FE Endpoint	Non	Adresse IP et port du nœud FE. Le format est `ip:port`. Séparez plusieurs nœuds par des virgules, par exemple : `ip1:port1,ip2:port2`.
Database Name	Oui	Nom de la base de données pour la connexion StarRocks.
Paramètres de connexion JDBC	Non	Paramètres de connexion StarRocks. Le format est `{"key1":"value1","key2":"value2"...}`.
Test Connectivity	Non	Vous pouvez utiliser un groupe de ressources de planification pour tester la connexion lors de l'ajout de la source de données. Remarque Si un workflow utilise cette source de données, assurez-vous que la connectivité entre la source de données et le groupe de ressources de planification est établie. Vous ne pouvez tester la connectivité qu'entre la source de données et le groupe de ressources par défaut ou les groupes de ressources du cluster.

Cliquez sur OK.