DataWorks:Solution 6: Network connectivity for public network data sources

Cette solution est recommandée si votre source de données remplit la condition suivante :

• La source de données dispose d’un endpoint public.

Étape 1 : Obtenir les informations de base

Étape 2 : Établir la connectivité réseau

• Groupe de ressources Serverless : Un groupe de ressources Serverless n’a pas accès à Internet par défaut. Vous devez configurer une passerelle NAT Internet et associer une EIP au VPC lié au groupe de ressources avant qu’il puisse accéder aux sources de données via Internet.

• Groupe de ressources exclusif hérité : Dispose d’un accès Internet par défaut et peut se connecter directement.

Si vous rencontrez des problèmes lors de la configuration réseau, ouvrez un ticket pour contacter le support technique Alibaba Cloud.

Étape 3 : (Facultatif) Ajouter des adresses IP à la liste d’autorisation

Si la source de données dispose de contrôles par liste d’autorisation, ajoutez l’adresse IP publique du groupe de ressources à la liste d’autorisation de la source de données.

L’exemple suivant utilise la configuration de la liste d’autorisation IP MySQL, où un utilisateur spécifique ne peut accéder à la base de données qu’à partir de l’adresse IP publique du groupe de ressources.

Tenez compte des points suivants lors de la configuration de la liste d’autorisation :

• Lorsqu’un groupe de ressources Serverless accède à une source de données via Internet, l’IP de sortie est l’EIP associée à la passerelle NAT, et non le bloc CIDR du vSwitch. Ajoutez cette EIP au groupe de sécurité ou à la liste d’autorisation du pare-feu côté source de données, plutôt que de configurer uniquement le bloc CIDR du vSwitch.

• Si la liste d’autorisation devient invalide en raison d’un changement d’adresse IP source, vérifiez que la résolution DNS et la politique de routage mappent correctement vers l’EIP de la passerelle NAT. Les causes courantes incluent : une table de routage VPC mal configurée, une entrée SNAT qui n’a pas pris effet, ou plusieurs instances de passerelle NAT provoquant une IP de sortie imprévisible.

• L’IP de sortie d’un groupe de ressources exclusif hérité est l’EIP associée au groupe de ressources lui-même. Obtenez cette adresse depuis la page des détails du groupe de ressources et ajoutez-la à la liste d’autorisation.

1. Connectez-vous à la base de données en tant qu’administrateur.

2. Créez un compte permettant à DataWorks d’accéder à la source de données et configurez les autorisations requises.

   -- "dataworks_user" is the username, which you can customize.
   -- "StrongPassword123!" is the user password, which you can customize.
   CREATE USER 'dataworks_user'@'<Public IP address bound to the resource group>' IDENTIFIED BY 'StrongPassword123!';
   -- Grant the user access to the specified database (e.g., mydatabase) from the public IP address bound to the resource group.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<Public IP address bound to the resource group>' WITH GRANT OPTION;

3. Exécutez la commande FLUSH PRIVILEGES; pour actualiser les autorisations, puis quittez la base de données (exit).

1. Informations de base

2. Établir la connectivité réseau

Cette procédure s’applique uniquement aux groupes de ressources Serverless. Elle utilise une passerelle NAT Internet pour activer l’accès Internet au VPC associé. Les groupes de ressources hérités disposent déjà d’une EIP associée par défaut et ne nécessitent pas cette configuration.

1. Accédez à la page Liste des groupes de ressources DataWorks, repérez le groupe de ressources cible et cliquez sur Network Settings dans la colonne Operation.

2. Sous le module de fonctionnalité correspondant, repérez le VPC associé et cliquez sur l’icône à côté du VPC pour accéder à la page Basic Information du VPC.

   Par exemple, si vous souhaitez connecter une instance MySQL avec un endpoint public à DataWorks pour la synchronisation des données, repérez le VPC correspondant sous Ordonnancement des tâches et Intégration des données et cliquez sur l’icône à côté du VPC.

3. Basculez vers l’onglet Resource management . Dans la section Service d’accès Internet, cliquez sur Create sous Passerelle NAT Internet pour activer l’accès Internet au VPC associé au groupe de ressources.

   Configurez les paramètres clés suivants :

   Paramètre	Valeur
   VPC	Utilisez le même VPC et le même vSwitch que ceux associés au groupe de ressources.
   vSwitch associé
   Access mode	Sélectionnez Mode VPC complet (SNAT).
   Instance EIP	Sélectionnez Acheter une nouvelle EIP.
   Rôle associé	Lors de la première création d’une passerelle NAT, vous devez créer un rôle lié au service. Cliquez sur Créer un rôle associé.

4. Cliquez sur Buy Now, effectuez le paiement et créez l’instance de passerelle NAT.

   Une fois l’achat terminé, un message de réussite s’affiche ainsi que les résultats de trois opérations sur les ressources : Créer une EIP (créée), Créer une passerelle NAT (créée) et Associer une EIP (associée).

5. Une fois l’instance de passerelle NAT achetée, cliquez sur le bouton pour retourner à la console et créer une entrée SNAT.

   Remarque

   Ce n’est qu’après la configuration d’une entrée SNAT que les groupes de ressources utilisant ce VPC peuvent accéder à Internet.

   Les entrées SNAT prennent en charge quatre niveaux de granularité : VPC, vSwitch, ECS/ENI et bloc CIDR personnalisé. La granularité vSwitch ne couvre que les vSwitch sélectionnés. Si le groupe de ressources DataWorks est déployé sur un vSwitch qui n’est pas sélectionné, il ne peut pas accéder à Internet via cette entrée SNAT. Nous recommandons la granularité VPC, où le bloc CIDR source est 0.0.0.0/0. Cela couvre tous les blocs CIDR du VPC et garantit que les groupes de ressources sur tous les vSwitch peuvent accéder à Internet via la passerelle NAT.

   1. Cliquez sur Management dans la colonne Actions de l’instance nouvellement achetée pour accéder à la page de gestion de l’instance de passerelle NAT cible, puis basculez vers l’onglet Gestion SNAT.

   2. Dans la section Liste des entrées SNAT, cliquez sur Créer une entrée SNAT pour créer une entrée NAT. Voici les configurations clés :

      |
      **Paramètre**
      |
      **Valeur**
      | | --- | --- | |
      Granularité de l’entrée SNAT
      |
      Sélectionnez la granularité VPC pour garantir que tous les groupes de ressources du VPC puissent accéder à Internet via l’EIP configurée.
      | |
      Sélectionner l’adresse EIP
      |
      Sélectionnez l’EIP associée à l’instance de passerelle NAT actuelle.
      |

      Après avoir configuré les paramètres de l’entrée SNAT, cliquez sur OK pour créer l’entrée SNAT.

      
      
      
      
      
      
      
      
      
      
      
      
      

   Dans la section Liste des entrées SNAT, lorsque le Status de l’entrée SNAT nouvellement créée passe à Enabled**, le VPC associé au groupe de ressources dispose d’un accès Internet.

   Si vous avez précédemment configuré une entrée SNAT avec une granularité vSwitch, vous pouvez la supprimer après avoir créé une entrée SNAT avec une granularité VPC. L’entrée avec granularité VPC utilise un bloc CIDR source de 0.0.0.0/0, qui couvre déjà tous les blocs CIDR des vSwitch dans le VPC. La suppression de l’ancienne entrée avec granularité vSwitch n’affecte pas l’entrée SNAT avec granularité VPC.

3. Ajouter des adresses IP à la liste d’autorisation

1. Obtenez l’adresse IP publique du groupe de ressources.

   Groupe de ressources Serverless

   1. Accédez à la console VPC. Dans le volet de navigation de gauche, cliquez sur Passerelle NAT > Passerelle NAT Internet pour accéder à la page de liste des passerelles NAT Internet.

   2. Repérez la passerelle NAT Internet que vous avez créée et consultez la colonne EIP pour obtenir l’adresse EIP.

   Groupe de ressources hérité

   1. Accédez à la page Liste des groupes de ressources DataWorks, repérez le groupe de ressources cible et cliquez sur Details dans la colonne Operation pour accéder à la page des détails du groupe de ressources.

   2. Récupérez l’adresse EIP.

2. Connectez-vous à la base de données en tant qu’administrateur.

3. Créez un compte permettant à DataWorks d’accéder à la source de données et configurez les autorisations requises.

   -- "dataworks_user" is the username, which you can customize.
   -- "StrongPassword123!" is the user password, which you can customize.
   CREATE USER 'dataworks_user'@'<Public IP address bound to the resource group>' IDENTIFIED BY 'StrongPassword123!';
   -- Grant the user access to the specified database (e.g., mydatabase) from the vSwitch CIDR block bound to the resource group.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<Public IP address bound to the resource group>' WITH GRANT OPTION;

4. Exécutez la commande FLUSH PRIVILEGES; pour actualiser les autorisations, puis quittez la base de données (exit).

4. Tester la connectivité

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Integration > Data Integration dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Integration.

2. Dans le volet de navigation de gauche, cliquez sur Data Sources pour accéder à la page Data Sources, puis cliquez sur Add Connection.

3. Sélectionnez le type de source de données MySQL et configurez les informations de connexion à la source de données.

   • Définissez le Configuration Mode sur User-created Data Store with Public IP Addresses.

   • Définissez l’Adresse hôte sur l’adresse IP publique du serveur où réside MySQL (dans cet exemple, 47.117.XX.XX).

   • Définissez le Port Number sur 3306.

   • Définissez le Database Name sur le nom d’une base de données existante.

   • Définissez le Username et le Password sur l’utilisateur dataworks_user et le mot de passe créés à l’étape Ajouter des adresses IP à la liste d’autorisation.

4. Dans la section Connection Configuration , cliquez sur Tester la connectivité à côté du groupe de ressources associé à l’espace de travail et vérifiez si le résultat est Connectable.

   Remarque

   Si le résultat du test indique Échec, utilisez l’Network Connectivity Diagnostic Tool pour résoudre le problème. Si la connectivité échoue toujours, ouvrez un ticket pour obtenir de l’aide.

Que faire si un groupe de ressources Serverless expire lors de la connexion à une source de données FTP publique ?

Un groupe de ressources Serverless n’a pas accès à Internet par défaut. Si une expiration de connexion se produit lors de l’accès à une source de données FTP publique, suivez ces étapes pour résoudre le problème :

1. Vérifiez qu’une passerelle NAT et une entrée SNAT sont configurées pour le VPC où réside le groupe de ressources Serverless. Sinon, complétez la liaison de la passerelle NAT et la création de l’entrée SNAT comme décrit dans l’« Étape 2 : Établir la connectivité réseau » de cette rubrique.

2. Vérifiez que la passerelle NAT est liée au VPC et au vSwitch effectivement utilisés par le groupe de ressources Serverless. Assurez-vous que la liaison est cohérente avec les paramètres réseau du groupe de ressources.

3. Dans la table de routage du VPC, ajoutez une entrée de route pour le bloc CIDR correspondant à l’adresse IP du serveur FTP. Par exemple, si l’adresse du serveur FTP est 121.4.x.x, ajoutez une entrée de route avec le bloc CIDR de destination 121.4.0.0/16 et définissez le saut suivant sur l’instance de passerelle NAT.

4. Vérifiez la liste d’autorisation côté serveur FTP et ajoutez l’IP de sortie du groupe de ressources Serverless (l’EIP associée à la passerelle NAT) à la liste d’autorisation du serveur FTP.

Pourquoi la fonction de recherche de table échoue-t-elle à charger la liste, alors que les scripts peuvent s’exécuter lors de la connexion à PostgreSQL via Internet ?

Lorsque vous vous connectez à une source de données PostgreSQL via Internet, la fonction de recherche de table nécessite plusieurs interactions pour récupérer les métadonnées, ce qui exige une grande stabilité réseau. Dans un environnement de réseau public instable, la récupération des métadonnées peut expirer ou échouer, empêchant le chargement de la recherche de table. En revanche, le mode script soumet et exécute directement les tâches de synchronisation sans dépendre de plusieurs interactions de récupération de métadonnées, et n’est donc pas affecté par l’instabilité du réseau public.

Solutions recommandées :

• Privilégiez une connexion via réseau privé : Accédez à la source de données PostgreSQL via une connexion VPC pour éviter les problèmes d’instabilité du réseau public. Pour plus d’informations, consultez la section Aperçu des solutions de connectivité réseau.

• Utilisez le SDK pour créer des tâches : Si vous ne pouvez pas basculer vers une connexion par réseau privé, créez des tâches de synchronisation des données en utilisant l’OpenAPI DataWorks ou le SDK pour contourner les limitations de la fonction de recherche de table de la console.

Que faire si la console DataWorks d’une région étrangère est inaccessible depuis un réseau en Chine continentale ?

Lorsque vous accédez à la console DataWorks d’une région étrangère (comme États-Unis (Silicon Valley)) depuis la Chine continentale, la page peut ne pas se charger ou se charger lentement en raison de la latence ou des restrictions du réseau transfrontalier. Étapes recommandées :

1. Essayez un autre ordinateur ou environnement réseau (comme un point d’accès mobile) pour écarter les problèmes de réseau local.

2. Si le problème est causé par les conditions du réseau transfrontalier, contactez votre équipe d’administration réseau pour ajuster les politiques réseau permettant d’accéder à la console DataWorks dans la région étrangère.

3. Pour un accès stable à long terme à une console étrangère, utilisez Alibaba Cloud Global Accelerator (GA) pour une accélération réseau transfrontalière à faible latence et haute disponibilité.

Puis-je utiliser une adresse IP proxy pour faire passer un groupe de ressources pour une adresse IP étrangère ?

Non. Alibaba Cloud attribue et gère l’adresse IP de sortie pour chaque groupe de ressources. Vous ne pouvez ni modifier ni personnaliser cette adresse en utilisant une adresse IP proxy ou d’autres méthodes. Même si vous configurez des paramètres de proxy dans votre code Python ou d’autres programmes, les tâches DataWorks utilisent toujours l’adresse IP attribuée au groupe de ressources lors de l’exécution. Pour accéder à des sources de données soumises à des restrictions géographiques, utilisez VPN Gateway ou Express Connect pour établir des connexions transfrontalières.