MaxCompute:パブリックネットワークへのアクセス

SQL ユーザー定義関数 (UDF) ジョブ

• パラメーターは次のように設定されます。

  -- ネットワーク接続リクエストフォームで設定したパブリック IP アドレスまたはドメイン名とポートを設定します。これは、次の SQL 文がアクセスするパブリック IP アドレスまたはドメイン名です。
  -- 複数のドメイン名またはポートにアクセスするには、カンマ (,) で区切ります。
  SET odps.internet.access.list=<ip_address:port|realm_name:port>;
  -- SQL 文を実行して UDF を呼び出します。
  SELECT <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | domain_name:port：必須。ターゲットのパブリック IP アドレスまたはドメイン名とポート。

• UDF_name：パブリック IP アドレスまたはドメイン名へのアクセスに使用される UDF の名前。

• 次のコードはジョブの例です。

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• 実行：サンプルコードに基づいて作成された UDF の名前が url_fetch であると仮定します。ネットワーク接続リクエストが承認された後、次のサンプルコマンドを実行できます。

  SET odps.internet.access.list=www.aliyun.com:80;
  SELECT url_fetch("http://www.aliyun.com");

Spark on MaxCompute ジョブ

この設定項目を Spark クライアントの conf ファイル、または DataWorks で Spark ジョブを送信する際の設定項目に追加します。

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

MaxFrame ジョブ

パラメーターは次のように設定されます。

from maxframe import options
options.sql.settings = {
    "odps.internet.access.list": "<host>:80,<host>:443",
}