DataWorks:Solution 6 : Connectivité réseau pour une source de données publique

Cette solution est recommandée si votre source de données remplit la condition suivante :

• La source de données dispose d'un endpoint public.

Étape 1 : Obtenir les informations de base

Étape 2 : Établir la connectivité réseau

• Groupe de ressources serverless : Un groupe de ressources serverless n'a pas accès à Internet par défaut. Vous devez configurer une Internet NAT Gateway et associer une EIP au VPC lié au groupe de ressources avant qu'il ne puisse accéder aux sources de données via Internet.

• Groupe de ressources exclusif hérité : Dispose d'un accès Internet par défaut et peut se connecter directement.

Étape 3 : (Facultatif) Ajouter des adresses IP à la liste d'autorisation

Si la source de données dispose de contrôles par liste d'autorisation, ajoutez l'adresse IP publique du groupe de ressources à la liste d'autorisation de la source de données.

L'exemple suivant utilise la configuration de la liste d'autorisation IP MySQL, où un utilisateur spécifique ne peut accéder à la base de données qu'à partir de l'adresse IP publique du groupe de ressources.

1. Connectez-vous à la base de données en tant qu'administrateur.

2. Créez un compte pour permettre à DataWorks d'accéder à la source de données et configurez les autorisations requises.

   -- "dataworks_user" is the username, which you can customize.
   -- "StrongPassword123!" is the user password, which you can customize.
   CREATE USER 'dataworks_user'@'<Public IP address bound to the resource group>' IDENTIFIED BY 'StrongPassword123!';
   -- Grant the user access to the specified database (e.g., mydatabase) from the public IP address bound to the resource group.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<Public IP address bound to the resource group>' WITH GRANT OPTION;

3. Exécutez la commande FLUSH PRIVILEGES; pour actualiser les autorisations, puis quittez la base de données (exit).

1. Informations de base

2. Établir la connectivité réseau

Cette procédure s'applique uniquement aux groupes de ressources serverless. Elle utilise une Internet NAT Gateway pour activer l'accès Internet au VPC associé. Les groupes de ressources hérités disposent déjà d'une EIP associée par défaut et ne nécessitent pas cette configuration.

1. Accédez à la page Liste des groupes de ressources DataWorks, recherchez le groupe de ressources cible et cliquez sur Network Settings dans la colonne Operation.

2. Sous le module de fonctionnalité correspondant, recherchez le VPC associé et cliquez sur l'icône à côté du VPC pour accéder à la page Basic Information du VPC.

   Par exemple, si vous souhaitez connecter une instance MySQL disposant d'un endpoint public à DataWorks pour la synchronisation des données, recherchez le VPC correspondant sous Task Scheduling & Data Integration et cliquez sur l'icône à côté du VPC.

3. Basculez vers l'onglet Resource management . Dans la section Internet Access Service, cliquez sur Create sous Internet NAT Gateway pour activer l'accès Internet au VPC associé au groupe de ressources.

   Configurez les paramètres clés suivants :

   Paramètre	Valeur
   VPC	Utilisez le même VPC et le même vSwitch que ceux associés au groupe de ressources.
   vSwitch associé
   Access mode	Sélectionnez Full VPC mode (SNAT).
   Instance EIP	Sélectionnez Purchase New EIP.
   Rôle associé	Lors de la première création d'une passerelle NAT, vous devez créer un rôle lié au service. Cliquez sur Create Associated Role.

4. Cliquez sur Buy Now, effectuez le paiement et créez l'instance de passerelle NAT.

   Une fois l'achat terminé, un message de succès s'affiche ainsi que les résultats de trois opérations de ressources : Create EIP (créé), Create NAT Gateway (créé) et Bind EIP (associé).

5. Après l'achat de l'instance de passerelle NAT, cliquez sur le bouton pour revenir à la console et créer une entrée SNAT.

   Remarque

   Seule la configuration d'une entrée SNAT permet aux groupes de ressources utilisant ce VPC d'accéder à Internet.

   Les entrées SNAT prennent en charge quatre niveaux de granularité : VPC, vSwitch, ECS/ENI et bloc CIDR personnalisé. La granularité vSwitch ne couvre que les vSwitch sélectionnés. Si le groupe de ressources DataWorks est déployé sur un vSwitch qui n'est pas sélectionné, il ne peut pas accéder à Internet via cette entrée SNAT. Nous recommandons la granularité VPC, où le bloc CIDR source est 0.0.0.0/0. Cela couvre tous les blocs CIDR du VPC et garantit que les groupes de ressources sur tous les vSwitch peuvent accéder à Internet via la passerelle NAT.

   1. Cliquez sur Management dans la colonne Operation de l'instance nouvellement achetée pour accéder à la page de gestion de l'instance de passerelle NAT cible, puis basculez vers l'onglet SNAT Management.

   2. Dans la section SNAT Entry List, cliquez sur Create SNAT Entry pour créer une entrée NAT. Voici les configurations clés :

      Paramètre	Valeur
      Granularité de l'entrée SNAT	Sélectionnez la granularité VPC pour garantir que tous les groupes de ressources du VPC puissent accéder à Internet via l'EIP configurée.
      Sélectionner l'adresse EIP	Sélectionnez l'EIP associée à l'instance de passerelle NAT actuelle.

      Après avoir configuré les paramètres de l'entrée SNAT, cliquez sur OK pour créer l'entrée SNAT.

   Dans la section SNAT Entry List, lorsque le Status de l'entrée SNAT nouvellement créée passe à Enabled**, le VPC associé au groupe de ressources dispose d'un accès Internet.

   Si vous avez précédemment configuré une entrée SNAT avec une granularité vSwitch, vous pouvez la supprimer après avoir créé une entrée SNAT avec une granularité VPC. L'entrée avec granularité VPC utilise un bloc CIDR source de 0.0.0.0/0, qui couvre déjà tous les blocs CIDR des vSwitch du VPC. La suppression de l'ancienne entrée avec granularité vSwitch n'affecte pas l'entrée SNAT avec granularité VPC.

3. Ajouter des adresses IP à la liste d'autorisation

1. Obtenez l'adresse IP publique du groupe de ressources.

   Groupe de ressources serverless

   1. Accédez à la console VPC. Dans le volet de navigation de gauche, cliquez sur NAT Gateway > Internet NAT Gateway pour accéder à la page de liste des Internet NAT Gateway.

   2. Recherchez l'Internet NAT Gateway que vous avez créée et consultez la colonne EIP pour obtenir l'adresse EIP.

   Groupe de ressources hérité

   1. Accédez à la page Liste des groupes de ressources DataWorks, recherchez le groupe de ressources cible et cliquez sur Details dans la colonne Operation pour accéder à la page des détails du groupe de ressources.

   2. Obtenez l'adresse EIP.

2. Connectez-vous à la base de données en tant qu'administrateur.

3. Créez un compte pour permettre à DataWorks d'accéder à la source de données et configurez les autorisations requises.

   -- "dataworks_user" is the username, which you can customize.
   -- "StrongPassword123!" is the user password, which you can customize.
   CREATE USER 'dataworks_user'@'<Public IP address bound to the resource group>' IDENTIFIED BY 'StrongPassword123!';
   -- Grant the user access to the specified database (e.g., mydatabase) from the vSwitch CIDR block bound to the resource group.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<Public IP address bound to the resource group>' WITH GRANT OPTION;

4. Exécutez la commande FLUSH PRIVILEGES; pour actualiser les autorisations, puis quittez la base de données (exit).

4. Tester la connectivité

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Integration > Data Integration dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Integration.

2. Dans le volet de navigation de gauche, cliquez sur Data Sources pour accéder à la page Data Sources, puis cliquez sur Add Connection.

3. Sélectionnez le type de source de données MySQL et configurez les informations de connexion à la source de données.

   • Définissez Configuration Mode sur User-created Data Store with Public IP Addresses.

   • Définissez Host Address sur l'adresse IP publique du serveur où réside MySQL (dans cet exemple, 47.117.XX.XX).

   • Définissez Port Number sur 3306.

   • Définissez Database Name sur le nom d'une base de données existante.

   • Définissez Username et Password sur l'utilisateur dataworks_user et le mot de passe créés à l'étape Ajouter des adresses IP à la liste d'autorisation.

4. Dans la section Connection Configuration, cliquez sur Test Connectivity à côté du groupe de ressources associé à l'espace de travail et vérifiez si le résultat est Connectable.

   Remarque

   Si le résultat du test indique Failed, utilisez l'outil Network Connectivity Diagnostic Tool pour résoudre le problème. Si la connectivité échoue toujours, soumettez un ticket pour obtenir de l'aide.

Que faire si un groupe de ressources serverless expire lors de la connexion à une source de données FTP publique ?

Un groupe de ressources serverless n'a pas accès à Internet par défaut. Si un délai d'expiration de connexion se produit lors de l'accès à une source de données FTP publique, suivez ces étapes pour résoudre le problème :

1. Vérifiez qu'une passerelle NAT et une entrée SNAT sont configurées pour le VPC où réside le groupe de ressources serverless. Sinon, effectuez la liaison de la passerelle NAT et la création de l'entrée SNAT comme décrit dans « Étape 2 : Établir la connectivité réseau » de cette rubrique.

2. Vérifiez que la passerelle NAT est associée au VPC et au vSwitch réellement utilisés par le groupe de ressources serverless. Assurez-vous que la liaison est cohérente avec les paramètres réseau du groupe de ressources.

3. Dans la table de routage du VPC, ajoutez une entrée de route pour le bloc CIDR correspondant à l'adresse IP du serveur FTP. Par exemple, si l'adresse du serveur FTP est 121.4.x.x, ajoutez une entrée de route avec le bloc CIDR de destination 121.4.0.0/16 et définissez le saut suivant sur l'instance de passerelle NAT.

4. Vérifiez la liste d'autorisation côté serveur FTP et ajoutez l'IP de sortie du groupe de ressources serverless (l'EIP associée à la passerelle NAT) à la liste d'autorisation du serveur FTP.

Que faire si la console DataWorks d'une région hors Chine continentale est inaccessible depuis un réseau de Chine continentale ?

Lorsque vous accédez à la console DataWorks d'une région hors Chine continentale (comme États-Unis (Silicon Valley)) depuis la Chine continentale, la page peut ne pas se charger ou se charger lentement en raison de la latence ou des restrictions du réseau transfrontalier. Étapes recommandées :

1. Essayez un autre ordinateur ou environnement réseau (comme un point d'accès mobile) pour écarter les problèmes de réseau local.

2. Si le problème est causé par les conditions du réseau transfrontalier, contactez votre équipe d'administration réseau pour ajuster les politiques d'accès à la console DataWorks dans la région hors Chine continentale.

3. Pour un accès stable à long terme à une console hors Chine continentale, utilisez Alibaba Cloud Global Accelerator (GA) pour une accélération réseau transfrontalière à faible latence et haute disponibilité.

Puis-je utiliser une IP proxy pour faire passer un groupe de ressources pour une IP hors Chine continentale ?

Non. Alibaba Cloud attribue et gère l'adresse IP de sortie pour chaque groupe de ressources. Vous ne pouvez ni modifier ni personnaliser cette adresse en utilisant une IP proxy ou d'autres méthodes. Même si vous configurez des paramètres de proxy dans votre code Python ou d'autres programmes, les tâches DataWorks utilisent toujours l'adresse IP attribuée au groupe de ressources lors de l'exécution. Pour accéder à des sources de données soumises à des restrictions géographiques, utilisez VPN Gateway ou Express Connect pour établir des connexions transfrontalières.