DataWorks:Solution 4: Network connectivity for data sources deployed on ECS

Nous recommandons cette solution si votre source de données remplit la condition suivante :

• La source de données est déployée sur une instance Alibaba Cloud ECS.

Même compte et même région

Si l'instance ECS hébergeant la source de données et DataWorks relèvent du même compte et se trouvent dans la même région, nous vous recommandons d'utiliser une connexion VPC (réseau privé). Déployez le groupe de ressources de votre espace de travail DataWorks et l'instance ECS dans le même VPC afin d'activer la connectivité réseau.

Comptes ou régions différents

Si l'instance ECS hébergeant la source de données et DataWorks relèvent de comptes différents ou du même compte mais se trouvent dans des régions différentes, nous vous recommandons d'utiliser une connexion VPC (réseau privé). Utilisez un outil de connectivité réseau (Cloud Enterprise Network ou VPC Peering Connection) pour connecter le VPC du groupe de ressources de votre espace de travail DataWorks au VPC dans lequel réside l'instance ECS.

Étape 1 : Obtenir les informations de base

Étape 2 : Établir la connectivité réseau

Étape 3 : Ajouter une route dans le groupe de ressources DataWorks

Pour les scénarios interrégions sous le même compte ou les scénarios intercomptes, vous devez également ajouter une route dans le groupe de ressources DataWorks pointant vers la plage d'adresses IP (CIDR) du vSwitch de l'instance ECS.

1. Accédez à la page de liste des groupes de ressources DataWorks. Repérez le groupe de ressources cible et cliquez sur Network Settings dans la colonne Operation.

2. Dans le module correspondant, repérez le VPC lié et cliquez sur Custom Route dans la colonne Operation.

3. Cliquez sur Add Route. Définissez la méthode de connexion sur CIDR Block et saisissez la plage d'adresses IP (CIDR) du vSwitch de l'instance ECS dans le champ Destination CIDR Block.

Étape 4 : (Facultatif) Activer l'accès distant pour la base de données

Certaines bases de données nécessitent l'activation de l'accès distant dans leurs fichiers de configuration pour permettre à des utilisateurs spécifiques d'accéder à la base de données depuis des réseaux externes via une adresse IP et un port. La méthode de configuration varie selon la base de données. Reportez-vous à la documentation officielle de votre base de données.

Par exemple : Activer l'accès distant pour MySQL.

Étape 5 : Configurer les règles du groupe de sécurité ECS

Alibaba Cloud ECS utilise des groupes de sécurité pour implémenter des fonctionnalités de pare-feu. Vous devez ouvrir le port de la base de données dans le groupe de sécurité ECS pour le VPC du groupe de ressources DataWorks, afin que ce dernier puisse accéder au service déployé sur l'instance ECS.

1. Accédez à la console ECS et sélectionnez la région de votre instance ECS en haut de la page.

2. Dans le volet de navigation de gauche, cliquez sur Instances & Images > Instance. Repérez l'instance ECS sur laquelle la base de données MySQL est déployée, puis cliquez sur le nom de l'instance pour accéder à la page Instance Details.

3. En haut de la page, basculez vers l'onglet Security Group. Cliquez sur le nom du groupe de sécurité pour accéder à la page Security Group Details.

4. Dans la section Access Rules, cliquez sur Add Rule et configurez les paramètres clés suivants. Vous pouvez conserver les valeurs par défaut pour les autres paramètres.

   • Source : Saisissez la plage d'adresses IP (CIDR) du vSwitch liée au groupe de ressources DataWorks.

   • Port : Sélectionnez le port de la base de données déployée sur l'instance ECS. Par exemple, ouvrez le port 3306 pour MySQL.

1. Informations de base

2. Établir la connectivité réseau

Cet exemple utilise une connexion d'appairage de VPC pour configurer la connectivité réseau entre l'instance ECS et DataWorks.

1. Connectez-vous avec le Compte A. Accédez à la console VPC Peering Connection. Sélectionnez la région China (Hangzhou) en haut de la page, puis cliquez sur Create Peering Connection pour configurer les paramètres.

   Le tableau suivant décrit les paramètres clés de cet exemple. Vous pouvez conserver les valeurs par défaut pour les autres paramètres.

   |
   **Paramètre**
   |
   **Description et exemple**
   | | --- | --- | |
   **Peering Connection Name**
   |
   Spécifiez un nom personnalisé. Dans cet exemple, saisissez `Account_A to Account_B`.
   | |
   **Requester VPC**
   |
   Le VPC de l'instance ECS sous le **Compte A**. Dans cet exemple, sélectionnez `Account_A_hangzhou_VPC`.
   | |
   **Accepter Account Type**
   |
   Dans cet exemple, sélectionnez `Cross-account`.
   | |
   **Accepter Account UID**
   |
   Saisissez l'UID du compte Alibaba Cloud pour le **Compte B**.
   | |
   **Accepter Region Type**
   |
   Dans cet exemple, sélectionnez `Cross-region`.
   | |
   **Accepter Region**
   |
   La région de l'espace de travail DataWorks et du groupe de ressources sous le **Compte B**. Sélectionnez `China (Shanghai)`.
   | |
   **Accepter VPC**
   |
   Saisissez manuellement l'ID VPC du VPC (`Account_B_shanghai_VPC`) qui contient le groupe de ressources DataWorks sous le **Compte B**.
   |
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   

2. Cliquez sur Determine pour terminer la configuration de l'appairage. Le système redirige automatiquement vers la page des détails de la connexion d'appairage, où le Status est Accepting.

3. Connectez-vous avec le Compte B. Accédez à la console VPC Peering Connection. Sélectionnez la région China (Shanghai) en haut de la page. Vous verrez un enregistrement d'appairage correspondant à celui créé sous le Compte A. Cliquez sur Receiver dans la colonne Operation. Après acceptation, le Status passe à Activated.

4. Cliquez sur Configure Route Entry sous Accepter VPC. Dans la boîte de dialogue Configure Route Entry, spécifiez un Name personnalisé pour l'entrée de routage et définissez Destination CIDR Block sur le bloc CIDR du VPC du demandeur (ECS). Dans cet exemple, saisissez 192.168.0.0/16.

5. Connectez-vous avec le Compte A. Accédez à la console VPC Peering Connection. Sélectionnez la région China (Hangzhou) en haut de la page et recherchez la connexion d'appairage que vous avez créée.

6. Cliquez sur Configure Route Entry sous Requester VPC. Dans la boîte de dialogue Configure Route Entry, spécifiez un Name personnalisé pour l'entrée de routage et définissez Destination CIDR Block sur le bloc CIDR du VPC de l'accepteur (groupe de ressources DataWorks). Dans cet exemple, saisissez 172.16.0.0/12.

3. Ajouter une route dans le groupe de ressources DataWorks

1. Connectez-vous avec le Compte B. Accédez à la page DataWorks Resource Group List. Recherchez le groupe de ressources cible et cliquez sur Network Settings dans la colonne Operation.

2. Dans le module correspondant, localisez le VPC lié et cliquez sur Custom Route dans la colonne Operation.

3. Cliquez sur Add Route. Définissez la méthode de connexion sur CIDR Block et définissez le Destination CIDR Block sur le bloc CIDR du vSwitch de l'instance ECS (dans cet exemple, 192.168.6.0/24).

4. Activer l'accès distant pour la base de données MySQL

Connectez-vous à l'instance ECS sur laquelle la base de données MySQL est déployée et activez l'accès distant à la base de données.

Les commandes suivantes s'appliquent uniquement aux bases de données MySQL 8.0 déployées sur Linux. Adaptez les commandes selon les besoins pour d'autres systèmes d'exploitation et versions de MySQL.

1. Localisez le fichier de configuration my.cnf. Par défaut, le fichier se trouve à l'emplacement /etc/my.cnf.

   find / -name my.cnf

2. Exécutez la commande vim /etc/my.cnf pour modifier le fichier de configuration. Remplacez le chemin my.cnf en fonction du résultat réel de l'étape précédente.

3. À la fin du fichier de configuration, appuyez sur i et ajoutez la configuration suivante sous la section [mysqld] :

   bind-address=0.0.0.0

4. Appuyez sur Esc, tapez :wq!, puis appuyez sur Entrée pour enregistrer et quitter.

5. Exécutez la commande systemctl restart mysqld pour redémarrer le service.

6. Créez un utilisateur qui sera utilisé lors de la configuration de la source de données dans DataWorks pour se connecter à distance à la base de données MySQL.

   1. Exécutez la commande mysql -u root -p pour vous connecter à la base de données en tant qu'administrateur.

   2. Créez un utilisateur et définissez un mot de passe.

      -- "dataworks_user" is the username, which you can customize.
      -- "%" means access is allowed from any IP. You can also specify an IP for fine-grained control.
      -- "StrongPassword123!" is the user password, which you can customize.
      CREATE USER 'dataworks_user'@'%' IDENTIFIED BY 'StrongPassword123!';

   3. Accordez des autorisations de base de données à l'utilisateur.

      -- Execute any one of the following commands.
      
      -- Grant all privileges to the user (use with caution).
      GRANT ALL PRIVILEGES ON *.* TO 'dataworks_user'@'%' WITH GRANT OPTION;
      
      -- Grant privileges on a specific database (e.g., mydatabase) to the user.
      GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'%' WITH GRANT OPTION;

   4. Exécutez la commande FLUSH PRIVILEGES; pour actualiser les privilèges, puis quittez la base de données (exit).

   5. Vérifiez la connexion distante.

      mysql -u dataworks_user -h <Primary private IP address of the ECS instance> -p

5. Configurer les règles du groupe de sécurité ECS

1. Connectez-vous avec le Compte A. Accédez à la console ECS et sélectionnez China (Hangzhou) en haut de la page.

2. Dans le volet de navigation de gauche, cliquez sur Instances & Images > Instance. Recherchez l'instance ECS sur laquelle la base de données MySQL est déployée et cliquez sur le nom de l'instance pour accéder à la page Instance Details.

3. En haut de la page, basculez vers l'onglet Security Group. Cliquez sur le nom du groupe de sécurité pour accéder à la page Security Group Details.

4. Dans la section Access Rules, cliquez sur Add Rule et configurez les paramètres clés suivants. Vous pouvez utiliser les valeurs par défaut pour les autres paramètres.

   • Source : Saisissez le bloc CIDR du vSwitch du groupe de ressources DataWorks (dans cet exemple, 172.16.66.0/24).

   • Port : Sélectionnez le port de la base de données déployée sur l'instance ECS (dans cet exemple, 3306).

6. Tester la connectivité

1. Connectez-vous avec le Compte B.

2. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Integration > Data Integration dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Integration.

3. Dans le volet de navigation de gauche, cliquez sur Data Sources pour accéder à la page Data Sources. Cliquez sur Add Connection.

4. Sélectionnez le type de source de données MySQL et configurez les paramètres de connexion.

   • Définissez Configuration Mode sur User-created Data Store with Public IP Addresses.

   • Définissez Host Address sur l'adresse IP privée de l'instance ECS (dans cet exemple, 192.168.6.172).

   • Définissez le Port Number sur 3306.

   • Définissez le Database Name sur un nom de base de données existant.

   • Définissez le Username et le Password avec les identifiants dataworks_user créés à l'étape Activer l'accès distant pour MySQL.

5. Dans la section Connection Configuration, cliquez sur le bouton de test de connectivité à côté du groupe de ressources lié à l'espace de travail pour vérifier si le résultat est Connectable.

   Dans la section Connection Configuration de la source de données, sélectionnez un groupe de ressources et cliquez sur Test Connectivity. Vérifiez que l'état de connectivité est Connectable.

   Remarque

   Si le résultat du test indique Failed, utilisez l'outil Network Connectivity Diagnostic Tool pour résoudre les problèmes. Si la connectivité échoue toujours, soumettez un ticket pour obtenir de l'aide.