MaxCompute:Acessar a rede pública

Jobs de função definida pelo usuário (UDF) SQL

• Configure os parâmetros da seguinte forma:

  -- Set the public IP address or domain name and port that you configured in the network connectivity request form. This is the public IP address or domain name that the following SQL statement will access.
  -- To access multiple domain names or ports, separate them with commas (,).
  SET odps.internet.access.list=<ip_address:port|realm_name:port>;
  -- Execute the SQL statement to call the UDF.
  SELECT <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | domain_name:port: Obrigatório. O endereço IP público ou nome de domínio e porta de destino.

• UDF_name: Nome da UDF utilizada para acessar o endereço IP público ou nome de domínio.

• O código a seguir apresenta um exemplo de job:

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• Execução: Suponha que o nome da UDF criada com base no código de exemplo seja url_fetch. Após a aprovação da solicitação de conectividade de rede, execute os comandos de exemplo abaixo.

  SET odps.internet.access.list=www.aliyun.com:80;
  SELECT url_fetch("http://www.aliyun.com");

Jobs Spark on MaxCompute

Adicione este item de configuração ao arquivo conf do cliente Spark ou aos itens de configuração ao enviar um job Spark no DataWorks.

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

Jobs MaxFrame

Configure os parâmetros conforme abaixo:

from maxframe import options
options.sql.settings = {
    "odps.internet.access.list": "<host>:80,<host>:443",
}