MaxCompute:Acessar a rede pública

• Os parâmetros são definidos da seguinte forma:

  -- Set the public IP address or domain name and port that you configured in the network connectivity request form. This is the public IP address or domain name that the following SQL statement will access.
  -- To access multiple domain names or ports, separate them with commas (,).
  SET odps.internet.access.list=<ip_address:port|realm_name:port>;
  -- Execute the SQL statement to call the UDF.
  SELECT <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | domain_name:port: Obrigatório. O endereço IP público ou nome de domínio e porta de destino.

• UDF_name: O nome da UDF usada para acessar o endereço IP público ou nome de domínio.

• O código a seguir fornece um exemplo de job:

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• Execução: Suponha que o nome da UDF criada com base no código de exemplo seja url_fetch. Após a aprovação da solicitação de conectividade de rede, você pode executar os seguintes comandos de exemplo.

  SET odps.internet.access.list=www.aliyun.com:80;
  SELECT url_fetch("http://www.aliyun.com");

Adicione este item de configuração ao arquivo conf do cliente Spark ou aos itens de configuração ao enviar um job Spark no DataWorks.

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

Os parâmetros são definidos da seguinte forma:

from maxframe import options
options.sql.settings = {
    "odps.internet.access.list": "<host>:80,<host>:443",
}