Configurer l'accès à Internet public pour les applications Spark - AnalyticDB

Cette rubrique explique comment configurer une application Spark dans AnalyticDB for MySQL afin d'accéder à des ressources publiques, telles qu'une base de données autogérée ou des services de données provenant d'autres fournisseurs cloud.

Contexte

Une passerelle NAT Internet assure la traduction d'adresses réseau (NAT). Créez une passerelle NAT Internet pour un Virtual Private Cloud (VPC) afin de permettre aux instances au sein du VPC d'accéder à Internet. Pour plus d'informations, consultez Présentation des passerelles NAT Internet.

Notes d'utilisation

Si votre source de données externe utilise des contrôles de sécurité réseau, tels qu'un pare-feu ou une liste d'autorisation d'adresses IP, vous devez ajouter l'adresse IP publique de l'entrée SNAT ou le bloc CIDR IP du vSwitch à ces contrôles. Sinon, l'application Spark ne pourra pas accéder à la source de données.

Procédure

Créer une passerelle NAT Internet.

La passerelle NAT Internet doit se trouver dans la même région que votre instance AnalyticDB for MySQL.
Associer une adresse IP élastique (EIP).
Créer une entrée SNAT.

Nous vous recommandons de créer une entrée SNAT au niveau de Select vSwitch. Vous pouvez sélectionner n'importe quel vSwitch pour cette entrée.

Dans votre application Spark, configurez les paramètres clés suivants comme indiqué dans l'exemple ci-dessous.

Remarque

Cette configuration n'est pas requise si vous développez des jobs Spark dans un Notebook.

{
    "comments": ["-- Here is just an example of SparkPi. Modify the content and run your spark program."],
    "args": ["1000"],
    "file": "local:///tmp/spark-examples.jar",
    "name": "SparkPi",
    "className": "org.apache.spark.examples.SparkPi",
    "conf": {
        "spark.driver.resourceSpec": "small",
        "spark.executor.instances": 1,
        "spark.executor.resourceSpec": "small",
        "spark.adb.eni.enabled": "true",
        "spark.adb.eni.vswitchId": "vsw-bp1ghmwrkeaw3xvnd****",
        "spark.adb.eni.securityGroupId": "sg-bp1airvjxl5vpr2****"	
    }
}

Le tableau suivant décrit les paramètres clés.

Parameter	Description
spark.adb.eni.enabled	Indique s'il faut utiliser une interface réseau élastique (ENI) pour accéder aux sources de données externes via des tables externes. Définissez ce paramètre sur `true`.
spark.adb.eni.vswitchId	L'ID du vSwitch pour l'interface réseau élastique. Définissez ce paramètre sur l'vSwitch ID spécifié dans l'SNAT entry.
spark.adb.eni.securityGroupId	L'ID du groupe de sécurité pour l'interface réseau élastique. Définissez ce paramètre sur l'ID d'un groupe de sécurité situé dans le VPC où réside la Internet NAT gateway.

Pour plus d'informations sur les applications Spark, consultez Présentation du développement d'applications Spark.