MaxCompute:Akses jaringan publik

Pekerjaan SQL user-defined function (UDF)

• Parameter diatur sebagai berikut:

  -- Atur alamat IP publik atau nama domain dan port yang Anda konfigurasikan di formulir permintaan konektivitas jaringan. Ini adalah alamat IP publik atau nama domain yang akan diakses oleh pernyataan SQL berikut.
  -- Untuk mengakses beberapa nama domain atau port, pisahkan dengan koma (,).
  SET odps.internet.access.list=<ip_address:port|realm_name:port>;
  -- Jalankan pernyataan SQL untuk memanggil UDF.
  SELECT <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | domain_name:port: Wajib. Alamat IP publik atau nama domain dan port tujuan.

• UDF_name: Nama UDF yang digunakan untuk mengakses alamat IP publik atau nama domain.

• Kode berikut menyediakan contoh pekerjaan:

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• Eksekusi: Asumsikan bahwa nama UDF yang dibuat berdasarkan kode sampel adalah url_fetch. Setelah permintaan konektivitas jaringan disetujui, Anda dapat menjalankan perintah sampel berikut.

  SET odps.internet.access.list=www.aliyun.com:80;
  SELECT url_fetch("http://www.aliyun.com");

Pekerjaan Spark di MaxCompute

Tambahkan item konfigurasi ini ke file conf Klien Spark atau ke item konfigurasi saat Anda mengirimkan Pekerjaan Spark di DataWorks.

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

Pekerjaan MaxFrame

Parameter-parameter diatur sebagai berikut:

from maxframe import options
options.sql.settings = {
    "odps.internet.access.list": "<host>:80,<host>:443",
}