DataWorks:Opérations sur les groupes de ressources et connectivité réseau

Quelles informations dois-je connaître sur DataWorks et ses capacités réseau avant d'exécuter une tâche de synchronisation par lots ?

Si vous rencontrez des problèmes lors de la synchronisation des tâches, vous pouvez d'abord vous reporter à la rubrique Résolution des problèmes de synchronisation des données pour effectuer un dépannage autonome.

Si vous rencontrez des problèmes lors du test de connectivité de la source de données, consultez d'abord la rubrique Résolution des problèmes de connectivité des sources de données afin de sélectionner la solution de dépannage appropriée.

Lorsque vous utilisez un groupe de ressources exclusif pour Data Integration, suivez ces étapes : achetez le groupe de ressources, associez-le au VPC où la base de données est connectée, évaluez la nécessité d'ajouter des routes, configurez les listes d'autorisation de la base de données et associez le groupe de ressources exclusif à l'espace de travail. Pour plus d'informations, consultez la rubrique Configuration d'un groupe de ressources exclusif pour Data Integration.

Comment garantir la connectivité réseau entre DataWorks et une base de données auto-gérée sur une instance ECS ?

Comment garantir la connectivité réseau lorsque ma base de données et mon espace de travail DataWorks se trouvent dans des régions différentes ?

Avant de commencer, reportez-vous à la rubrique Résolution des problèmes de connectivité des sources de données pour sélectionner la solution de connectivité réseau appropriée. Les points clés de la solution de connectivité sont les suivants :

Comment garantir la connectivité réseau lorsque ma base de données et mon espace de travail DataWorks appartiennent à des comptes Alibaba Cloud différents ?

Que faire si un test de connectivité échoue pour une base de données dans un VPC ?

• Si vous avez ajouté la source de données à l'aide d'un endpoint VPC :

  1. Vérifiez que le groupe de ressources exclusif pour Data Integration est bien associé au VPC où réside la base de données.

  2. Assurez-vous que le bloc CIDR du vSwitch associé au groupe de ressources exclusif pour Data Integration a été ajouté à la liste d'autorisation de la base de données. Pour plus d'informations, consultez la section Ajout d'entrées à la liste d'autorisation.

• Si vous avez ajouté la source de données à l'aide d'un endpoint public et que le test de connectivité échoue avec le groupe de ressources exclusif pour Data Integration, vérifiez si l'EIP du groupe de ressources exclusif pour Data Integration a été ajoutée à la liste d'autorisation de la base de données. Pour plus d'informations, consultez la section Ajout d'entrées à la liste d'autorisation.

  Remarque

  La synchronisation des données via Internet entraîne des frais de trafic Internet. Pour plus d'informations, consultez la rubrique Tarification.

Que faire si la connectivité de la source de données est intermittente ?

Vérifiez si vous utilisez un groupe de ressources partagé. Le réseau des groupes de ressources partagés est instable. Nous vous recommandons d'utiliser un groupe de ressources exclusif pour Data Integration afin de garantir la stabilité de la connexion.

Comment garantir la connectivité réseau entre un groupe de ressources serverless et Hologres lors de la synchronisation des données avec Data Integration ?

Le groupe de ressources serverless doit être associé au VPC où réside l'instance Hologres. Procédez comme suit :

1. Connectez-vous à la console DataWorks et localisez le groupe de ressources serverless cible dans la liste des groupes de ressources.

2. Cliquez sur Network Settings. Dans la section Data Scheduling and Data Integration, cliquez sur Add VPC Association.

3. Sélectionnez le VPC, la zone et le vSwitch où réside l'instance Hologres, puis cliquez sur OK.

4. Une fois l'association terminée, créez une source de données Hologres dans la section de gestion des sources de données de Data Integration, puis cliquez sur Test Connectivity pour vérifier que la connexion est établie avec succès.

Si le bloc CIDR du VPC déjà associé au groupe de ressources entre en conflit avec le bloc CIDR du VPC Hologres, dissociez d'abord le VPC conflictuel avant d'ajouter le VPC Hologres. L'association d'un VPC crée des interfaces réseau élastiques (ENI) dans le VPC qui consomment du quota. Ne supprimez pas ces ENI.

Pour obtenir des instructions détaillées sur le changement de configuration réseau de Hologres, consultez la rubrique Modification des configurations réseau de Hologres.

Comment résoudre les erreurs de connexion ou les échecs de connectivité lorsque DataWorks se connecte à Kafka en raison d'une inadéquation du paramètre advertised.listeners ?

Si DataWorks ne parvient pas à se connecter à un cluster Kafka ou signale des erreurs de connexion, résolvez le problème en fonction des scénarios suivants :

1. Dans le groupe de sécurité ECS, autorisez l'accès depuis le bloc CIDR du vSwitch lié au groupe de ressources DataWorks utilisé pour la tâche (par exemple, 172.17.112.0/20).

2. Vérifiez que l'adresse du cluster Kafka correspond à la valeur du paramètre advertised.listeners dans le fichier server.properties de chaque broker, et assurez-vous que tous les brokers du cluster sont dans un état de fonctionnement normal.

3. Si vous vous connectez à Kafka à l'aide d'une adresse IP interne, vérifiez que le VPC lié au groupe de ressources DataWorks peut accéder à cette adresse IP interne.

4. Si vous vous connectez à Kafka à l'aide d'une adresse IP publique, configurez une passerelle NAT et une Elastic IP Address (EIP) pour le VPC lié au groupe de ressources DataWorks.

5. En cas d'échec de la résolution des noms de domaine, configurez la résolution DNS interne à l'aide de PrivateZone.

Que faire si j'ai acheté un groupe de ressources exclusif mais que je ne le trouve pas lors du test de connectivité de la source de données ou de l'exécution d'une tâche ?

Vérifiez que le groupe de ressources exclusif est bien associé à l'espace de travail DataWorks. Pour plus d'informations, consultez la section Association d'un groupe de ressources à un espace de travail.

Comment consulter les journaux pour déterminer le type de groupe de ressources sur lequel une tâche s'exécute ?

• Si une tâche s'exécute sur le groupe de ressources par défaut, les informations suivantes apparaissent dans les journaux : running in Pipeline[basecommon_ group_xxxxxxxxx].

• Si une tâche s'exécute sur un groupe de ressources personnalisé pour Data Integration, les informations suivantes apparaissent dans les journaux : running in Pipeline[basecommon_xxxxxxxxx].

• Si une tâche s'exécute sur un groupe de ressources exclusif pour Data Integration, les informations suivantes apparaissent dans les journaux : running in Pipeline[basecommon_S_res_group_xxx].

Comment changer le groupe de ressources utilisé par une tâche dans le système d'ordonnancement ?

Comment résoudre le problème d'un groupe de ressources personnalisé en attente d'une passerelle ?

Connectez-vous à la console DataWorks. Dans le volet de navigation de gauche, cliquez sur Resource Group List et accédez à l'onglet Custom Resource Groups. Cliquez sur Server Management à côté du groupe de ressources d'ordonnancement utilisé par la tâche, puis vérifiez si le serveur est arrêté ou occupé par d'autres tâches.

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

Comment trouver l'adresse IP publique d'un groupe de ressources pour une liste d'autorisation d'adresses IP ?

Si vous utilisez un groupe de ressources exclusif pour Data Integration afin de synchroniser des données via Internet, ajoutez l'EIP du groupe de ressources exclusif pour Data Integration à la liste d'autorisation de la base de données. Vous pouvez obtenir l'EIP comme suit :

Sur la page Resource Groups de la console DataWorks, cliquez sur l'onglet Exclusive Resource Groups. Cliquez sur Details à côté du groupe de ressources Data Integration, puis copiez l'EIP depuis la section des informations de base vers la liste d'autorisation de la base de données.

Pourquoi obtiens-je une erreur « insufficient resources » alors que le groupe de ressources dispose de ressources disponibles ?

Vérifiez les détails du groupe de ressources. Dans la plupart des cas, les ressources restantes du groupe de ressources sont insuffisantes pour les nouvelles tâches. Par exemple, le groupe de ressources peut contenir des tâches en file d'attente à ce moment-là.

Combien de VPC peuvent être associés à un groupe de ressources serverless et que faire si j'atteins le quota ?

Chaque groupe de ressources serverless prend en charge un maximum de deux associations VPC.

Connectez-vous à la . Sur la page Resource Groups, localisez le groupe de ressources serverless cible et cliquez sur Details. Dans la section des informations de base de la page de détails du groupe de ressources, le champ VPCs That Can Be Associated affiche l'utilisation actuelle du quota au format X associated, Y remaining.

Lorsque le quota de deux VPC est entièrement utilisé (2 associés, 0 restant), vous ne pouvez pas ajouter d'autres associations VPC. Vous pouvez résoudre ce problème en utilisant les méthodes suivantes :

• Évaluez la possibilité de réutiliser un VPC déjà associé. Déployez la source de données nécessitant une connectivité dans un VPC déjà associé, ou connectez le VPC où réside la source de données au VPC déjà associé à l'aide de Cloud Enterprise Network (CEN).

• Utilisez Cloud Enterprise Network (CEN) pour la connectivité inter-VPC. Ajoutez le VPC déjà associé et le VPC cible à la même instance CEN pour établir la connectivité réseau. Ainsi, vous pouvez accéder aux sources de données dans le VPC cible sans consommer de quota d'association VPC supplémentaire.

Les associations VPC dans les paramètres réseau d'un groupe de ressources sont divisées en deux sections : Data Service et Data Scheduling. Le quota de deux VPC est un quota total au niveau du groupe de ressources, partagé par les deux sections.

Que faire si un groupe de ressources DataWorks et une instance ApsaraDB RDS for MySQL se trouvent dans le même VPC avec une liste d'autorisation configurée, mais que la connexion échoue toujours ?

Ce problème survient généralement parce que la tâche ne s'est pas exécutée sur le groupe de ressources associé au VPC de la base de données. Lors de la configuration ou de l'exécution de la tâche, sélectionnez explicitement le groupe de ressources lié au VPC où réside l'instance ApsaraDB RDS for MySQL et qui possède déjà les entrées requises dans la liste d'autorisation de la base de données.

Si vous devez uniquement développer et déboguer la tâche dans Data Integration, il suffit de vous assurer que le test de connectivité de la source de données réussit. Vous n'avez pas besoin de prendre en compte la connectivité du module Data Service dans ce scénario.

Que faire si les sources de données sont téléchargées avec succès par lot mais que les entrées n'apparaissent pas dans la liste, ou si la page cesse de répondre ?

Si vous téléchargez des sources de données par lot mais que les entrées n'apparaissent pas dans la liste des sources de données, ou si la page cesse de répondre, procédez au dépannage comme suit :

1. Confirmez que vous avez cliqué sur Start Creation après le téléchargement, puis actualisez la page.

2. Vérifiez si le tableau téléchargé contient des entrées dont les noms dupliquent des sources de données existantes. Les entrées en double sont ignorées lors de la création, ce qui peut également entraîner l'absence de retour visuel sur la page. Supprimez les entrées en double et téléchargez à nouveau le tableau.

3. Vérifiez le mode et le champ environnement de l'espace de travail. Si l'espace de travail est en Basic Mode, il prend uniquement en charge l'Production Environment. Si le champ environnement du tableau téléchargé est défini sur dev, remplacez-le par Prod et téléchargez à nouveau le tableau. La distinction entre l'Development Environment et l'Production Environment n'est nécessaire qu'en Standard Mode.

4. Essayez d'effectuer le téléchargement en mode navigation privée ou incognito de votre navigateur pour exclure toute interférence due aux données mises en cache.

Que faire si je ne trouve pas l'instance cible lors de la création d'une source de données à partir d'une instance ApsaraDB RDS ?

Si l'instance que vous souhaitez utiliser n'apparaît pas dans la liste des instances lors de la création d'une source de données à partir d'une instance ApsaraDB RDS, confirmez d'abord si le type d'instance RDS est MySQL ou PostgreSQL. Ensuite, définissez le type de source de données pour qu'il corresponde au type réel de l'instance RDS, et actualisez la page pour recharger la liste complète des instances.

Que faire si DataWorks échoue à se connecter à une base de données externe, telle que MongoDB Atlas, via Internet et signale une erreur UnknownHostException ?

Si une erreur de connectivité ou une erreur UnknownHostException se produit lorsque vous utilisez DataWorks pour vous connecter à une base de données externe via Internet, procédez au dépannage comme suit :

1. Confirmez qu'une passerelle NAT est configurée pour le VPC du groupe de ressources serverless et qu'une adresse IP élastique (EIP) est associée à la passerelle NAT. Vérifiez que cette EIP est accessible depuis Internet, par exemple en effectuant un test ping dessus.

2. Du côté de la base de données externe (par exemple, MongoDB Atlas), vérifiez si l'EIP de la passerelle NAT a été ajoutée à la liste d'autorisation d'accès, ou si la base de données est configurée pour autoriser l'accès depuis toutes les adresses IP.

3. Si la connexion échoue toujours après avoir effectué les vérifications précédentes, la base de données cible réside généralement dans un autre environnement cloud, tel que MongoDB Atlas ou Microsoft Azure. Les connexions Internet entre différents environnements cloud peuvent être affectées par des restrictions réseau transfrontalières ou une instabilité. Dans ce cas, utilisez IPsec VPN, Express Connect ou une ligne louée pour établir une connexion réseau interne entre votre VPC Alibaba Cloud et l'environnement cloud cible. Configurez ensuite la source de données en utilisant une adresse de réseau interne pour améliorer la connectivité et la stabilité.