MaxCompute:Accéder au réseau public

Jobs de fonction définie par l'utilisateur (UDF) SQL

• Les paramètres sont définis comme suit :

  -- Set the public IP address or domain name and port that you configured in the network connectivity request form. This is the public IP address or domain name that the following SQL statement will access.
  -- To access multiple domain names or ports, separate them with commas (,).
  SET odps.internet.access.list=<ip_address:port|realm_name:port>;
  -- Execute the SQL statement to call the UDF.
  SELECT <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | domain_name:port : Obligatoire. Adresse IP publique ou nom de domaine et port cibles.

• UDF_name : Nom de la UDF utilisée pour accéder à l'adresse IP publique ou au nom de domaine.

• Le code suivant fournit un exemple de job :

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• Exécution : Supposons que le nom de la UDF créée à partir de l'exemple de code soit url_fetch. Une fois la demande de connectivité réseau approuvée, exécutez les commandes d'exemple suivantes.

  SET odps.internet.access.list=www.aliyun.com:80;
  SELECT url_fetch("http://www.aliyun.com");

Jobs Spark on MaxCompute

Ajoutez cet élément de configuration au fichier conf du client Spark ou aux éléments de configuration lors de la soumission d'un job Spark dans DataWorks.

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

Jobs MaxFrame

Les paramètres sont définis comme suit :

from maxframe import options
options.sql.settings = {
    "odps.internet.access.list": "<host>:80,<host>:443",
}