Secara default, DLF hanya dapat diakses dari dalam VPC. Untuk menghubungkan ke katalog DLF melalui internet—misalnya, dari lingkungan pengembangan lokal atau jaringan lintas wilayah—administrator DLF harus mengaktifkan akses jaringan publik dan mengonfigurasi klien sesuai kebutuhan. Topik ini memandu Anda melalui proses mengaktifkan akses jaringan publik serta menyiapkan konektivitas untuk Paimon dan Iceberg.
Batasan
Akses jaringan publik saat ini berada dalam fase public beta dan terbuka untuk semua pengguna.
SLA dan performa public beta: Tidak ada SLA yang diberikan selama masa public beta. Fungsionalitas inti layanan tetap sepenuhnya tersedia. Akses jaringan publik bergantung pada variabilitas koneksi internet, sehingga menyebabkan latensi lebih tinggi dan throughput lebih rendah dibandingkan akses melalui VPC. Mode ini tidak ditujukan untuk beban kerja produksi berskala besar dengan konkurensi tinggi.
Paimon: Gunakan klien Paimon (Java atau Python) versi 1.4.1 atau yang lebih baru.
Iceberg: Memerlukan
dlf-iceberg-plugin. Persyaratan versi:Apache Iceberg: 1.10.1
dlf-iceberg-plugin: 1.2.0 atau yang lebih baru
Batasan penamaan: Hanya huruf, angka, dan simbol tertentu yang didukung untuk nama database dan tabel.
Persyaratan parameter: Saat mengakses DLF melalui jaringan publik, Anda harus mengonfigurasi OSS public endpoint.
Penagihan
Akses jaringan publik gratis selama masa public beta. Biaya akan dikenakan setelah masa beta berakhir. Rincian harga akan diumumkan secara terpisah.
Aktifkan akses jaringan publik
Karena alasan keamanan, akses jaringan publik ke DLF dinonaktifkan secara default. Untuk mengaktifkannya, administrator DLF melakukan langkah-langkah berikut:
Masuk ke DLF console
Di panel navigasi sebelah kiri, pilih Catalogs.
Klik katalog data target, lalu klik tab Catalog Configuration.
Di bagian Advanced Settings, atur
enable.openapimenjaditrue.
Konfigurasikan akses jaringan publik
Akses tabel Paimon melalui jaringan publik
Contoh berikut menunjukkan cara menghubungkan ke katalog DLF Paimon melalui jaringan publik.
Format endpoint: https://dlfnext.${region-id}.aliyuncs.com. Untuk daftar endpoint berdasarkan wilayah, lihat Regions and endpoints.
Java
Options options = new Options();
// Konfigurasikan endpoint jaringan publik DLF
options.set("uri", "https://dlfnext.cn-hangzhou.aliyuncs.com");
options.set("warehouse", "paimon_test");
options.set("dlf.region", "cn-hangzhou");
options.set("dlf.access-key-id", "<Your AccessKey ID>");
options.set("dlf.access-key-secret", "<Your AccessKey Secret>");
// Anda harus mengonfigurasi endpoint jaringan publik OSS
options.set("dlf.oss-endpoint", "oss-cn-hangzhou.aliyuncs.com");
options.set("token.provider", "dlf");
Catalog restCatalog = new RESTCatalog(CatalogContext.create(options));Tabel berikut mencantumkan parameter konfigurasi untuk Java.
Parameter | Deskripsi | Contoh |
uri | Endpoint jaringan publik untuk DLF OpenAPI. Untuk nilai spesifik berdasarkan wilayah, lihat Regions and endpoints. | https://dlfnext.cn-hangzhou.aliyuncs.com |
warehouse | Nama katalog data DLF. | paimon_test |
dlf.region | ID wilayah layanan DLF. | cn-hangzhou |
dlf.access-key-id | ID AccessKey Akun Alibaba Cloud atau RAM user Anda. | - |
dlf.access-key-secret | Rahasia AccessKey Akun Alibaba Cloud atau RAM user Anda. | - |
dlf.oss-endpoint | Endpoint jaringan publik OSS. Untuk informasi selengkapnya, lihat Regions and endpoints dalam dokumentasi OSS. | oss-cn-hangzhou.aliyuncs.com |
token.provider | Penyedia autentikasi. Atur ke | dlf |
Python
from pypaimon import CatalogFactory
options = {
# Client Python harus menentukan jenis metastore sebagai rest
'metastore': 'rest',
'uri': 'https://dlfnext.cn-hangzhou.aliyuncs.com',
'warehouse': 'paimon_test',
'dlf.region': 'cn-hangzhou',
'dlf.access-key-id': '<Your AccessKey ID>',
'dlf.access-key-secret': '<Your AccessKey Secret>',
# Konfigurasikan parameter ini jika Anda menggunakan kredensial temporary STS
'dlf.security-token': '<Your Security Token>',
'dlf.oss-endpoint': 'oss-cn-hangzhou.aliyuncs.com',
'token.provider': 'dlf',
}
rest_catalog = CatalogFactory.create(options)Tabel berikut mencantumkan parameter konfigurasi untuk Python.
Parameter | Deskripsi | Contoh |
metastore | Jenis metastore. Nilai tetap: | rest |
uri | Endpoint jaringan publik untuk DLF OpenAPI. Untuk nilai spesifik berdasarkan wilayah, lihat Regions and endpoints. | https://dlfnext.cn-hangzhou.aliyuncs.com |
warehouse | Nama katalog data DLF. | paimon_test |
dlf.region | ID wilayah layanan DLF. | cn-hangzhou |
dlf.access-key-id | ID AccessKey Akun Alibaba Cloud atau RAM user Anda. | - |
dlf.access-key-secret | Rahasia AccessKey Akun Alibaba Cloud atau RAM user Anda. | - |
dlf.security-token | Token keamanan STS. Tidak diperlukan saat menggunakan pasangan AccessKey jangka panjang. | - |
dlf.oss-endpoint | Endpoint jaringan publik untuk OSS. Untuk informasi selengkapnya, lihat Regions and endpoints dalam dokumentasi OSS. | oss-cn-hangzhou.aliyuncs.com |
token.provider | Penyedia autentikasi. Atur ke | dlf |
Akses tabel Iceberg melalui jaringan publik
Contoh berikut menunjukkan cara menghubungkan ke katalog DLF Iceberg melalui jaringan publik.
Format endpoint: https://dlfnext.${region-id}.aliyuncs.com/iceberg (endpoint publik REST Paimon dengan path /iceberg ditambahkan). Untuk daftar endpoint berdasarkan wilayah, lihat Regions and endpoints.
Dependensi Maven
Otentikasi jaringan publik dan operasi file IO ditangani oleh dlf-iceberg-plugin, yang tersedia dari Repositori Maven DLF. Pembacaan dan penulisan data OSS memerlukan JindoSDK. Tambahkan dependensi berikut ke proyek Anda:
<properties>
<iceberg.version>1.10.1</iceberg.version>
<dlf-iceberg-plugin.version>1.2.0</dlf-iceberg-plugin.version>
<jindo.version>6.7.8</jindo.version>
</properties>
<repositories>
<!-- Repositori untuk dlf-iceberg-plugin -->
<repository>
<id>dlf-mvn-repo</id>
<url>https://dlf-mvn-repo.oss-cn-shanghai.aliyuncs.com/mvn-repo/release/</url>
</repository>
<!-- Repositori JindoSDK -->
<repository>
<id>jindodata</id>
<url>https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/mvn-repo/</url>
</repository>
</repositories>
<dependencies>
<!-- Plugin DLF Iceberg: DlfRESTCatalog + RESTDLFAuthManager untuk otentikasi jaringan publik + DlfFileIO -->
<dependency>
<groupId>org.apache.iceberg</groupId>
<artifactId>dlf-iceberg-plugin-1.10.1</artifactId>
<version>${dlf-iceberg-plugin.version}</version>
</dependency>
<!-- Apache Iceberg -->
<dependency>
<groupId>org.apache.iceberg</groupId>
<artifactId>iceberg-core</artifactId>
<version>${iceberg.version}</version>
</dependency>
<dependency>
<groupId>org.apache.iceberg</groupId>
<artifactId>iceberg-data</artifactId>
<version>${iceberg.version}</version>
</dependency>
<dependency>
<groupId>org.apache.iceberg</groupId>
<artifactId>iceberg-parquet</artifactId>
<version>${iceberg.version}</version>
</dependency>
<dependency>
<groupId>org.apache.iceberg</groupId>
<artifactId>iceberg-aws-bundle</artifactId>
<version>${iceberg.version}</version>
</dependency>
<dependency>
<groupId>org.apache.iceberg</groupId>
<artifactId>iceberg-aws</artifactId>
<version>${iceberg.version}</version>
</dependency>
<!-- Pembacaan dan penulisan data OSS (JindoSDK) -->
<dependency>
<groupId>com.aliyun.jindodata</groupId>
<artifactId>jindo-sdk</artifactId>
<version>${jindo.version}</version>
</dependency>
<dependency>
<groupId>com.aliyun.jindodata</groupId>
<artifactId>jindo-core</artifactId>
<version>${jindo.version}</version>
</dependency>
</dependencies>Java
Map<String, String> options = new HashMap<>();
options.put("uri", "https://dlfnext.cn-hangzhou.aliyuncs.com/iceberg");
options.put("warehouse", "iceberg_test");
// Otentikasi jaringan publik: RESTDLFAuthManager
options.put("rest.auth.type", "org.apache.iceberg.rest.auth.RESTDLFAuthManager");
options.put("rest.signing-region", "cn-hangzhou");
options.put("rest.access-key-id", "your-access-key-id");
options.put("rest.secret-access-key", "your-access-key-secret");
// options.put("rest.session-token", "your-security-token"); // Konfigurasikan saat menggunakan kredensial temporary STS
options.put("io-impl", "org.apache.iceberg.rest.DlfFileIO");
options.put("dlf.oss-endpoint", "oss-cn-hangzhou.aliyuncs.com");
// Gunakan DlfRESTCatalog yang disediakan oleh dlf-iceberg-plugin
RESTCatalog catalog = new org.apache.iceberg.rest.DlfRESTCatalog();
catalog.initialize("dlf", options);Tabel berikut mencantumkan parameter konfigurasi.
Parameter | Deskripsi | Contoh |
uri | Endpoint jaringan publik untuk DLF Iceberg. Format: | https://dlfnext.cn-hangzhou.aliyuncs.com/iceberg |
warehouse | Nama katalog data DLF. | iceberg_test |
rest.auth.type | Metode autentikasi jaringan publik. Nilai tetap: | org.apache.iceberg.rest.auth.RESTDLFAuthManager |
rest.signing-region | ID wilayah layanan DLF. | cn-hangzhou |
rest.access-key-id | ID AccessKey Akun Alibaba Cloud atau RAM user Anda. | - |
rest.secret-access-key | Rahasia AccessKey Akun Alibaba Cloud atau RAM user Anda. | - |
rest.session-token | Token keamanan STS. Tidak diperlukan saat menggunakan pasangan AccessKey jangka panjang. | - |
io-impl | Implementasi file IO. Nilai tetap: | org.apache.iceberg.rest.DlfFileIO |
dlf.oss-endpoint | Endpoint jaringan publik untuk OSS. Untuk informasi selengkapnya, lihat Regions and endpoints dalam dokumentasi OSS. | oss-cn-hangzhou.aliyuncs.com |