Titik Akhir dan Akses Jaringan Publik - Data Lake Formation

Wilayah menentukan lokasi pusat data DLF. Titik akhir adalah nama domain yang digunakan untuk mengakses API metadata DLF. DLF menyediakan titik akhir berbeda untuk akses melalui VPC dan jaringan publik di setiap wilayah yang didukung.

Wilayah dan titik akhir DLF

Titik akhir VPC mendukung HTTP dan HTTPS, sedangkan titik akhir publik hanya mendukung HTTPS.

Paimon REST

Wilayah	ID Wilayah	VPC endpoint	Public endpoint	VPC's CIDR block
China (Hangzhou)	cn-hangzhou	cn-hangzhou-vpc.dlf.aliyuncs.com	dlfnext.cn-hangzhou.aliyuncs.com	100.115.114.0/25
China (Beijing)	cn-beijing	cn-beijing-vpc.dlf.aliyuncs.com	dlfnext.cn-beijing.aliyuncs.com	100.115.116.0/25
China (Shanghai)	cn-shanghai	cn-shanghai-vpc.dlf.aliyuncs.com	dlfnext.cn-shanghai.aliyuncs.com	100.115.117.0/25
China (Shenzhen)	cn-shenzhen	cn-shenzhen-vpc.dlf.aliyuncs.com	dlfnext.cn-shenzhen.aliyuncs.com	100.115.115.0/25
China (Ulanqab)	cn-wulanchabu	cn-wulanchabu-vpc.dlf.aliyuncs.com	dlfnext.cn-wulanchabu.aliyuncs.com	100.115.120.0/25
China (Hong Kong)	cn-hongkong	cn-hongkong-vpc.dlf.aliyuncs.com	dlfnext.cn-hongkong.aliyuncs.com	100.115.126.0/25
Germany (Frankfurt)	eu-central-1	eu-central-1-vpc.dlf.aliyuncs.com	dlfnext.eu-central-1.aliyuncs.com	100.115.119.0/25
Japan (Tokyo)	ap-northeast-1	ap-northeast-1-vpc.dlf.aliyuncs.com	dlfnext.ap-northeast-1.aliyuncs.com	100.115.122.0/25
Singapore	ap-southeast-1	ap-southeast-1-vpc.dlf.aliyuncs.com	dlfnext.ap-southeast-1.aliyuncs.com	100.115.118.0/25
Indonesia (Jakarta)	ap-southeast-5	ap-southeast-5-vpc.dlf.aliyuncs.com	dlfnext.ap-southeast-5.aliyuncs.com	100.115.128.0/25
US (Silicon Valley)	us-west-1	us-west-1-vpc.dlf.aliyuncs.com	dlfnext.us-west-1.aliyuncs.com	100.115.124.0/25
US (Virginia)	us-east-1	us-east-1-vpc.dlf.aliyuncs.com	dlfnext.us-east-1.aliyuncs.com	100.115.131.128/25

Batasan dan catatan untuk titik akhir publik

Batasan penamaan: Nama database dan tabel hanya boleh berisi huruf, angka, dan simbol tertentu.
Nonaktif secara default: Titik akhir publik dinonaktifkan secara default. Untuk petunjuk cara mengaktifkannya, lihat Aktifkan akses jaringan publik untuk DLF.
Pertimbangan performa: Titik akhir publik memiliki latensi sedikit lebih tinggi dibandingkan titik akhir internal.
Konfigurasi parameter: Anda harus mengonfigurasi titik akhir publik OSS.

Iceberg REST

Wilayah	ID Wilayah	VPC endpoint	VPC's CIDR block
China (Hangzhou)	cn-hangzhou	cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg	100.115.114.0/25
China (Beijing)	cn-beijing	cn-beijing-vpc.dlf.aliyuncs.com/iceberg	100.115.116.0/25
China (Shanghai)	cn-shanghai	cn-shanghai-vpc.dlf.aliyuncs.com/iceberg	100.115.117.0/25
China (Shenzhen)	cn-shenzhen	cn-shenzhen-vpc.dlf.aliyuncs.com/iceberg	100.115.115.0/25
China (Ulanqab)	cn-wulanchabu	cn-wulanchabu-vpc.dlf.aliyuncs.com/iceberg	100.115.120.0/25
China (Hong Kong)	cn-hongkong	cn-hongkong-vpc.dlf.aliyuncs.com/iceberg	100.115.126.0/25
Germany (Frankfurt)	eu-central-1	eu-central-1-vpc.dlf.aliyuncs.com/iceberg	100.115.119.0/25
Japan (Tokyo)	ap-northeast-1	ap-northeast-1-vpc.dlf.aliyuncs.com/iceberg	100.115.122.0/25
Singapore	ap-southeast-1	ap-southeast-1-vpc.dlf.aliyuncs.com/iceberg	100.115.118.0/25
Indonesia (Jakarta)	ap-southeast-5	ap-southeast-5-vpc.dlf.aliyuncs.com/iceberg	100.115.128.0/25
US (Silicon Valley)	us-west-1	us-west-1-vpc.dlf.aliyuncs.com/iceberg	100.115.124.0/25
US (Virginia)	us-east-1	us-east-1-vpc.dlf.aliyuncs.com/iceberg	100.115.131.128/25

Aktifkan akses jaringan publik untuk DLF

Fitur ini saat ini dalam tahap beta. Untuk informasi selengkapnya, lihat Konektivitas jaringan publik untuk DLF kini tersedia.

Aktifkan akses jaringan publik

Akses publik ke DLF dinonaktifkan secara default demi keamanan. Administrator harus mengaktifkannya:

Masuk ke DLF console.
Pada panel navigasi kiri, pilih Catalogs.
Klik katalog data target, lalu klik tab Catalog Configuration.
Pada bagian Advanced Settings, tambahkan atau ubah parameter enable.openapi dan atur nilainya menjadi true.

Contoh konfigurasi

Contoh berikut menunjukkan cara membuat Paimon REST Catalog yang terhubung ke DLF melalui jaringan publik. Kami merekomendasikan penggunaan client Paimon (Java dan Python) versi 1.4.1 atau lebih baru.

Java

Options options = new Options();
// Konfigurasikan titik akhir publik DLF
options.set("uri", "https://dlfnext.cn-hangzhou.aliyuncs.com");
options.set("warehouse", "paimon_test");
options.set("dlf.region", "cn-hangzhou");
options.set("dlf.access-key-id", "YourAccessKeyId");
options.set("dlf.access-key-secret", "YourAccessKeySecret");
// Anda harus mengonfigurasi titik akhir publik OSS
options.set("dlf.oss-endpoint", "oss-cn-hangzhou.aliyuncs.com");
options.set("token.provider", "dlf");

Catalog restCatalog = new RESTCatalog(CatalogContext.create(options));

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Description	Example
uri	Titik akhir publik DLF OpenAPI. Lihat kolom "Public endpoint" pada tabel Paimon REST di atas.	https://dlfnext.cn-hangzhou.aliyuncs.com
warehouse	Nama katalog data DLF.	paimon_test
dlf.region	ID wilayah layanan DLF.	cn-hangzhou
dlf.access-key-id	ID AccessKey Akun Alibaba Cloud atau RAM user Anda.	-
dlf.access-key-secret	Rahasia AccessKey Akun Alibaba Cloud atau RAM user Anda.	-
dlf.oss-endpoint	Titik akhir publik OSS. Untuk informasi selengkapnya, lihat Regions and endpoints.	oss-cn-hangzhou.aliyuncs.com
token.provider	Penyedia otentikasi. Atur nilai ini ke `dlf`.	dlf

Python

from pypaimon import CatalogFactory

options = {
    # Client Python memerlukan jenis metastore diatur ke rest
    'metastore': 'rest',
    'uri': 'https://dlfnext.cn-hangzhou.aliyuncs.com',
    'warehouse': 'paimon_test',
    'dlf.region': 'cn-hangzhou',
    'dlf.access-key-id': 'YourAccessKeyId',
    'dlf.access-key-secret': 'YourAccessKeySecret',
    # Konfigurasikan ini jika Anda menggunakan kredensial temporary STS
    'dlf.security-token': 'YourSecurityToken',
    'dlf.oss-endpoint': 'oss-cn-hangzhou.aliyuncs.com',
    'token.provider': 'dlf',
}

rest_catalog = CatalogFactory.create(options)

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Description	Example
metastore	Jenis metastore. Atur nilai ini ke `rest`.	rest
uri	Titik akhir publik DLF OpenAPI. Lihat kolom "Public endpoint" pada tabel Paimon REST di atas.	https://dlfnext.cn-hangzhou.aliyuncs.com
warehouse	Nama katalog data DLF.	paimon_test
dlf.region	ID wilayah layanan DLF.	cn-hangzhou
dlf.access-key-id	ID AccessKey Akun Alibaba Cloud atau RAM user Anda.	-
dlf.access-key-secret	Rahasia AccessKey Akun Alibaba Cloud atau RAM user Anda.	-
dlf.security-token	Token keamanan STS. Tidak diperlukan jika Anda menggunakan pasangan AccessKey permanen.	-
dlf.oss-endpoint	Titik akhir publik OSS. Untuk informasi selengkapnya, lihat Regions and endpoints.	oss-cn-hangzhou.aliyuncs.com
token.provider	Penyedia otentikasi. Atur nilai ini ke `dlf`.	dlf