Par défaut, MaxCompute s'exécute dans un réseau isolé. Pour accéder à des endpoints publics, à des ressources VPC ou à d'autres services Alibaba Cloud, ou pour atteindre MaxCompute depuis votre VPC, vous devez configurer une connexion réseau.
Six solutions réseau sont disponibles. Cette rubrique présente leurs cas d'utilisation, les régions prises en charge et les limitations associées.
Fonctionnement
MaxCompute se connecte aux services externes via une couche proxy. Le schéma suivant illustre l'architecture réseau.
Les six solutions réseau se répartissent en deux catégories :
Accès sortant (MaxCompute vers des services externes) : accès Internet, connexion dédiée au VPC et accès aux services Alibaba Cloud.
Accès entrant (services externes vers MaxCompute) : VPC PrivateLink, appairage de VPC (VPC peering) et Cloud Enterprise Network (CEN).
Choisir une solution réseau
Le tableau suivant récapitule chaque solution.
|
Solution |
Direction |
Cas d'utilisation |
Moteurs de calcul pris en charge |
|
Sortant |
Accéder à une adresse IP publique ou à un nom de domaine depuis MaxCompute |
UDF, Spark, MapReduce (MR), PyODPS/Mars |
|
|
Sortant |
Accéder à des ressources VPC telles que RDS, des clusters HBase ou des clusters Hadoop depuis MaxCompute |
SQL, UDF, Spark, PyODPS/Mars, table externe, architecture data lakehouse |
|
|
Sortant |
Accéder à OSS, DLF, Tablestore ou Hologres via des adresses de réseau interne |
SQL, UDF, Spark, PyODPS/Mars, table externe, architecture data lakehouse |
|
|
Entrant |
Se connecter à MaxCompute via un endpoint privé depuis votre VPC |
-- |
|
|
Entrant |
Accéder à MaxCompute depuis un VPC situé dans une autre région |
-- |
|
|
Entrant |
Interconnecter des VPC situés dans différentes régions à l'aide de Cloud Enterprise Network (CEN) |
-- |
Solutions d'accès sortant
Accès Internet
Accédez à une adresse IP publique ou à un nom de domaine depuis une fonction définie par l'utilisateur (UDF), une tâche Spark, MapReduce (MR) ou PyODPS/Mars.
Vue d'ensemble de la configuration :
Pour les adresses IP publiques standard ou les noms de domaine (comme aliyun.com), ajoutez-les ou supprimez-les directement dans la section Project Management de la console MaxCompute.
Si la validation automatique échoue, ouvrez un ticket. L'examen prend jusqu'à trois jours ouvrables. Après approbation, MaxCompute peut accéder à l'adresse IP ou au nom de domaine cible, à condition qu'il n'y ait aucune restriction de sécurité.
Si la cible comporte des restrictions de contrôle d'accès, contactez l'administrateur du service pour les supprimer afin que MaxCompute puisse atteindre l'endpoint.
Connexion dédiée au VPC
Accédez aux ressources VPC, telles que RDS, les clusters HBase et les clusters Hadoop, depuis des charges de travail SQL, UDF, Spark, PyODPS/Mars, tables externes ou architecture data lakehouse sur MaxCompute.
Vue d'ensemble de la configuration :
Connectez-vous à la console VPC et accordez des permissions à MaxCompute.
Créez une connexion entre MaxCompute et le VPC dans la console MaxCompute.
Une fois la connexion créée, une interface réseau élastique (ENI) apparaît dans la console. Le groupe de sécurité que vous avez spécifié contrôle les règles d'accès pour cette ENI.
Si le service cible a activé le contrôle d'accès, ajoutez l'adresse IP de l'ENI ou le bloc CIDR du vSwitch à sa liste d'autorisation.
MaxCompute se connecte à un seul VPC. Pour atteindre d'autres VPC dans la même région ou dans des régions différentes, connectez-les au VPC configuré via l'appairage de VPC, CEN ou d'autres méthodes d'interconnexion.
Accès aux services Alibaba Cloud
Accédez aux services Alibaba Cloud tels que OSS, DLF, Tablestore et Hologres via des adresses de réseau interne depuis des charges de travail SQL, UDF, Spark, PyODPS/Mars, tables externes ou architecture data lakehouse sur MaxCompute.
Règles relatives aux endpoints :
|
Méthode d'accès |
Type d'endpoint requis |
|
Table externe OSS ou Tablestore |
Endpoint interne uniquement |
|
UDF appelant OSS ou Tablestore |
Endpoint public uniquement |
|
Table externe Hologres |
Nom de domaine du réseau classique (voir l'adresse Classic Network dans Endpoints) |
Solutions d'accès entrant
|
Solution |
Cas d'utilisation |
Détails |
|
Se connecter à MaxCompute via un endpoint privé depuis votre VPC |
Rubrique liée |
|
|
Accéder à MaxCompute depuis un VPC situé dans une autre région |
Rubrique liée |
|
|
Interconnecter des VPC situés dans différentes régions à l'aide de CEN |
Rubrique liée |
Régions prises en charge
L'accès Internet et la connexion dédiée au VPC sont disponibles uniquement dans les régions suivantes.
Accès Internet
Régions prises en charge :
Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen) et Chine (Hong Kong)
Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur), Indonésie (Jakarta), Allemagne (Francfort), États-Unis (Silicon Valley) et États-Unis (Virginie)
Cibles prises en charge : Adresses IP publiques ou noms de domaine.
Connexion dédiée au VPC
Régions et zones prises en charge :
|
Région |
Zones |
|
Chine (Hangzhou) |
H, I, J, K |
|
Chine (Pékin) |
F, G, H, I, L |
|
Chine (Shanghai) |
B, E, G, M, N |
|
Chine (Zhangjiakou) |
A, B, C |
|
Chine (Ulanqab) |
B, C |
|
Chine (Shenzhen) |
C, D, E, F |
|
Chine (Hong Kong) |
B, C |
|
Chine (Shanghai) Finance Cloud |
F |
|
Japon (Tokyo) |
A, B |
|
Singapour |
A, B, C |
|
Malaisie (Kuala Lumpur) |
A, B |
|
Indonésie (Jakarta) |
A, B |
|
Allemagne (Francfort) |
A, B, C |
|
États-Unis (Silicon Valley) |
A, B |
|
États-Unis (Virginie) |
A, B |
Cibles prises en charge : Adresses IP ou noms de domaine VPC, RDS, clusters HBase, clusters Hadoop.
Limitations
L'accès sortant Internet et VPC depuis MaxCompute est un service gratuit soumis aux limitations suivantes :
|
Limitation |
Description |
|
Réexécutions lors du basculement |
La connectivité réseau est garantie, mais le basculement peut entraîner la réexécution des nœuds pour les opérations réseau déclenchées par votre code. Assurez-vous que votre code est idempotent. Privilégiez les opérations de lecture. Pour les écritures, mettez en place des protections contre les données corrompues dues à une exécution répétée. |
|
Capacité du proxy |
L'accès passe par un proxy dont la capacité de transfert est limitée. Utilisez des connexions persistantes et limitez la concurrence. Un nombre excessif de connexions peut entraîner l'échec des requêtes. |
|
Aucune garantie de bande passante |
La bande passante n'est pas garantie et peut ralentir l'exécution des tâches. Alibaba Cloud n'est pas responsable de la dégradation des performances due aux limitations de bande passante. |
|
Nombre limité d'IP de sortie |
Le proxy utilise un nombre limité d'adresses IP de sortie. Si vous rencontrez un comportement de connexion anormal, contactez le support technique Alibaba Cloud. |
|
Changements d'IP de sortie |
Les adresses IP de sortie peuvent changer. Ne vous fiez pas au contrôle d'accès basé sur l'adresse IP sur le service cible. Alibaba Cloud ne peut garantir que les IP de sortie du proxy resteront inchangées. |
Après avoir établi une connexion réseau, vous pouvez toujours rencontrer des problèmes d'accès lors de l'exécution des jobs en raison des restrictions réseau de l'outil que vous utilisez. Par exemple, si vous utilisez DataWorks pour la synchronisation ou le nettoyage des données, assurez-vous que le groupe de ressources DataWorks peut se connecter à la source de données et que la liste d'autorisation du sandbox autorise l'accès. Solutions de connexion réseau.
FAQ
Échec de la résolution DNS sous forte concurrence
Lors de tâches UDF ou Spark, les requêtes hautement concurrentielles vers un nom de domaine cible peuvent saturer la résolution DNS.
Résolvez le nom de domaine en adresse IP lors de l'initialisation de la tâche, puis utilisez l'IP résolue pour toutes les requêtes suivantes. La forte concurrence provoque des échecs de résolution DNS.
Échec de l'accès HTTPS lors de l'utilisation directe d'une adresse IP
Lorsqu'une tâche Spark ou UDF accède à un service VPC distant (tel que KMS ou OSS) via HTTPS, la connexion par adresse IP au lieu du nom de domaine provoque une erreur de validation du certificat.
Ajoutez le nom de domaine à l'en-tête Host de la requête pour résoudre l'erreur de validation. Utiliser une adresse IP pour accéder à un service HTTPS.