MaxCompute：Akses jaringan publik

Pekerjaan SQL user-defined function (UDF)

• Parameter diatur sebagai berikut:

  -- Atur Alamat IP publik atau Nama domain dan Port yang telah Anda konfigurasi di formulir permintaan konektivitas jaringan. Ini adalah Alamat IP publik atau Nama domain yang akan diakses oleh Pernyataan SQL berikut.
  -- Untuk mengakses beberapa Nama domain atau Port, pisahkan dengan koma (,).
  SET odps.internet.access.list=<ip_address:port|realm_name:port>;
  -- Eksekusi Pernyataan SQL untuk memanggil UDF.
  SELECT <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | domain_name:port: Wajib diisi. Alamat IP publik atau Nama domain target beserta Port-nya.

• UDF_name: Nama UDF yang digunakan untuk mengakses Alamat IP publik atau Nama domain.

• Kode berikut memberikan contoh Pekerjaan:

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• Eksekusi: Misalkan nama UDF yang dibuat berdasarkan kode contoh adalah url_fetch. Setelah permintaan konektivitas jaringan disetujui, Anda dapat menjalankan perintah contoh berikut.

  SET odps.internet.access.list=www.aliyun.com:80;
  SELECT url_fetch("http://www.aliyun.com");

Pekerjaan Spark on MaxCompute

Tambahkan item konfigurasi ini ke file conf client Spark atau ke item konfigurasi saat Anda mengirim Pekerjaan Spark di DataWorks.

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

Pekerjaan MaxFrame

Parameter diatur sebagai berikut:

from maxframe import options
options.sql.settings = {
    "odps.internet.access.list": "<host>:80,<host>:443",
}