Data Lake Formation:パブリックネットワークアクセスの有効化と設定

Maven 依存関係

パブリックネットワーク認証とファイル IO は、DLF Maven リポジトリから入手できる dlf-iceberg-plugin によって処理されます。OSS データの読み書きには JindoSDK が必要です。プロジェクトに次の依存関係を追加します。

<properties>
  <iceberg.version>1.10.1</iceberg.version>
  <dlf-iceberg-plugin.version>1.2.0</dlf-iceberg-plugin.version>
  <jindo.version>6.7.8</jindo.version>
</properties>

<repositories>
  <!-- dlf-iceberg-plugin のリポジトリ -->
  <repository>
    <id>dlf-mvn-repo</id>
    <url>https://dlf-mvn-repo.oss-cn-shanghai.aliyuncs.com/mvn-repo/release/</url>
  </repository>
  <!-- JindoSDK リポジトリ -->
  <repository>
    <id>jindodata</id>
    <url>https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/mvn-repo/</url>
  </repository>
</repositories>

<dependencies>
  <!-- DLF Iceberg プラグイン：DlfRESTCatalog + RESTDLFAuthManager パブリックネットワーク認証 + DlfFileIO -->
  <dependency>
    <groupId>org.apache.iceberg</groupId>
    <artifactId>dlf-iceberg-plugin-1.10.1</artifactId>
    <version>${dlf-iceberg-plugin.version}</version>
  </dependency>

  <!-- Apache Iceberg -->
  <dependency>
    <groupId>org.apache.iceberg</groupId>
    <artifactId>iceberg-core</artifactId>
    <version>${iceberg.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.iceberg</groupId>
    <artifactId>iceberg-data</artifactId>
    <version>${iceberg.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.iceberg</groupId>
    <artifactId>iceberg-parquet</artifactId>
    <version>${iceberg.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.iceberg</groupId>
    <artifactId>iceberg-aws-bundle</artifactId>
    <version>${iceberg.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.iceberg</groupId>
    <artifactId>iceberg-aws</artifactId>
    <version>${iceberg.version}</version>
  </dependency>

  <!-- OSS データの読み書き (JindoSDK) -->
  <dependency>
    <groupId>com.aliyun.jindodata</groupId>
    <artifactId>jindo-sdk</artifactId>
    <version>${jindo.version}</version>
  </dependency>
  <dependency>
    <groupId>com.aliyun.jindodata</groupId>
    <artifactId>jindo-core</artifactId>
    <version>${jindo.version}</version>
  </dependency>
</dependencies>

Java

Map<String, String> options = new HashMap<>();
options.put("uri", "https://dlfnext.cn-hangzhou.aliyuncs.com/iceberg");
options.put("warehouse", "iceberg_test");
// パブリックネットワーク認証：RESTDLFAuthManager
options.put("rest.auth.type", "org.apache.iceberg.rest.auth.RESTDLFAuthManager");
options.put("rest.signing-region", "cn-hangzhou");
options.put("rest.access-key-id", "<お使いの AccessKey ID>");
options.put("rest.secret-access-key", "<お使いの AccessKey Secret>");
// options.put("rest.session-token", "<お使いのセキュリティトークン>"); // STS 一時的な認証情報を使用する場合に設定します

options.put("io-impl", "org.apache.iceberg.rest.DlfFileIO");
options.put("dlf.oss-endpoint", "oss-cn-hangzhou.aliyuncs.com");

// dlf-iceberg-plugin によって提供される DlfRESTCatalog を使用します
RESTCatalog catalog = new org.apache.iceberg.rest.DlfRESTCatalog();
catalog.initialize("dlf", options);

次の表に、設定パラメーターを示します。