Region表示DLF的資料中心所在的地區,Endpoint表示DLF中繼資料API對外服務的訪問網域名稱。本文為您介紹DLF支援的地區。
DLF Region和Endpoint對照表
VPC網路同時支援HTTP和HTTPS協議訪問,OpenAPI僅支援HTTPS協議訪問。當前已開通的各地區和Endpoint如下。
Paimon REST
Region | Region ID | VPC網路Endpoint | OpenAPI 公網Endpoint | VPC網路VIP網段 |
華東1(杭州) | cn-hangzhou | cn-hangzhou-vpc.dlf.aliyuncs.com | dlfnext.cn-hangzhou.aliyuncs.com | 100.115.114.0/25 |
華北2(北京) | cn-beijing | cn-beijing-vpc.dlf.aliyuncs.com | dlfnext.cn-beijing.aliyuncs.com | 100.115.116.0/25 |
華東2(上海) | cn-shanghai | cn-shanghai-vpc.dlf.aliyuncs.com | dlfnext.cn-shanghai.aliyuncs.com | 100.115.117.0/25 |
華南1(深圳) | cn-shenzhen | cn-shenzhen-vpc.dlf.aliyuncs.com | dlfnext.cn-shenzhen.aliyuncs.com | 100.115.115.0/25 |
華北6(烏蘭察布) | cn-wulanchabu | cn-wulanchabu-vpc.dlf.aliyuncs.com | dlfnext.cn-wulanchabu.aliyuncs.com | 100.115.120.0/25 |
中國香港 | cn-hongkong | cn-hongkong-vpc.dlf.aliyuncs.com | dlfnext.cn-hongkong.aliyuncs.com | 100.115.126.0/25 |
德國(法蘭克福) | eu-central-1 | eu-central-1-vpc.dlf.aliyuncs.com | dlfnext.eu-central-1.aliyuncs.com | 100.115.119.0/25 |
日本(東京) | ap-northeast-1 | ap-northeast-1-vpc.dlf.aliyuncs.com | dlfnext.ap-northeast-1.aliyuncs.com | 100.115.122.0/25 |
新加坡 | ap-southeast-1 | ap-southeast-1-vpc.dlf.aliyuncs.com | dlfnext.ap-southeast-1.aliyuncs.com | 100.115.118.0/25 |
印尼(雅加達) | ap-southeast-5 | ap-southeast-5-vpc.dlf.aliyuncs.com | dlfnext.ap-southeast-5.aliyuncs.com | 100.115.128.0/25 |
美國(矽谷) | us-west-1 | us-west-1-vpc.dlf.aliyuncs.com | dlfnext.us-west-1.aliyuncs.com | 100.115.124.0/25 |
美國(維吉尼亞) | us-east-1 | us-east-1-vpc.dlf.aliyuncs.com | dlfnext.us-east-1.aliyuncs.com | 100.115.131.128/25 |
Paimon REST OpenAPI Endpoint 使用限制與注意事項
命名限制:目前僅支援字母、數字和特定符號的資料庫和表名。
預設禁用:OpenAPI Endpoint 預設為關閉狀態。開啟方法請參見DLF開通公網訪問。
效能考慮:相比 VPC Endpoint,OpenAPI Endpoint 延遲稍高。
參數配置:必須配置 OSS 公網 Endpoint。
Iceberg REST
Region | Region ID | VPC網路Endpoint | VPC網路VIP網段 |
華東1(杭州) | cn-hangzhou | cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg | 100.115.114.0/25 |
華北2(北京) | cn-beijing | cn-beijing-vpc.dlf.aliyuncs.com/iceberg | 100.115.116.0/25 |
華東2(上海) | cn-shanghai | cn-shanghai-vpc.dlf.aliyuncs.com/iceberg | 100.115.117.0/25 |
華南1(深圳) | cn-shenzhen | cn-shenzhen-vpc.dlf.aliyuncs.com/iceberg | 100.115.115.0/25 |
華北6(烏蘭察布) | cn-wulanchabu | cn-wulanchabu-vpc.dlf.aliyuncs.com/iceberg | 100.115.120.0/25 |
中國香港 | cn-hongkong | cn-hongkong-vpc.dlf.aliyuncs.com/iceberg | 100.115.126.0/25 |
德國(法蘭克福) | eu-central-1 | eu-central-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.119.0/25 |
日本(東京) | ap-northeast-1 | ap-northeast-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.122.0/25 |
新加坡 | ap-southeast-1 | ap-southeast-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.118.0/25 |
印尼(雅加達) | ap-southeast-5 | ap-southeast-5-vpc.dlf.aliyuncs.com/iceberg | 100.115.128.0/25 |
美國(矽谷) | us-west-1 | us-west-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.124.0/25 |
美國(維吉尼亞) | us-east-1 | us-east-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.131.128/25 |
DLF開通公網訪問
該功能目前處於公測階段。詳情請參見公網訪問DLF Paimon REST公測說明。
開啟公網訪問
基於安全考慮,DLF 服務的公網訪問入口預設關閉。DLF 管理員必須手動啟用該功能:
登入資料湖構建控制台。
在左側導覽列,選擇数据目录。
選擇目標資料目錄,切換到目录配置頁簽。
在高级配置部分,添加或修改參數:
enable.openapi設定為true。
配置樣本
以下樣本展示如何通過公網串連 DLF 的 Paimon REST Catalog。Paimon 用戶端(Java 和 Python)建議使用 1.4.1 及以上版本。
Java
Options options = new Options();
// 配置 DLF 公網地址
options.set("uri", "https://dlfnext.cn-hangzhou.aliyuncs.com");
options.set("warehouse", "paimon_test");
options.set("dlf.region", "cn-hangzhou");
options.set("dlf.access-key-id", "您的AccessKeyId");
options.set("dlf.access-key-secret", "您的AccessKeySecret");
// 必須配置 OSS 公網 Endpoint
options.set("dlf.oss-endpoint", "oss-cn-hangzhou.aliyuncs.com");
options.set("token.provider", "dlf");
Catalog restCatalog = new RESTCatalog(CatalogContext.create(options));Java 配置參數說明如下。
配置項 | 說明 | 樣本值 |
uri | DLF OpenAPI 公網服務地址。詳情請參見本文 Paimon REST 表格中的"OpenAPI 公網 Endpoint"列。 | https://dlfnext.cn-hangzhou.aliyuncs.com |
warehouse | DLF 資料目錄名稱。 | paimon_test |
dlf.region | DLF 服務所在的地區 ID(Region ID)。 | cn-hangzhou |
dlf.access-key-id | 阿里雲帳號或 RAM 使用者的 AccessKey ID。 | - |
dlf.access-key-secret | 阿里雲帳號或 RAM 使用者的 AccessKey Secret。 | - |
dlf.oss-endpoint | OSS 公網訪問地址。詳情請參見 OSS 的地區和Endpoint文檔。 | oss-cn-hangzhou.aliyuncs.com |
token.provider | 鑒權提供方,請固定設定為 | dlf |
Python
from pypaimon import CatalogFactory
options = {
# Python 用戶端必須指定 metastore 類型為 rest
'metastore': 'rest',
'uri': 'https://dlfnext.cn-hangzhou.aliyuncs.com',
'warehouse': 'paimon_test',
'dlf.region': 'cn-hangzhou',
'dlf.access-key-id': '您的AccessKeyId',
'dlf.access-key-secret': '您的AccessKeySecret',
# 若使用 STS 臨時憑證,請配置此項
'dlf.security-token': '您的SecurityToken',
'dlf.oss-endpoint': 'oss-cn-hangzhou.aliyuncs.com',
'token.provider': 'dlf',
}
rest_catalog = CatalogFactory.create(options)Python 配置參數說明如下。
配置項 | 說明 | 樣本值 |
metastore | 中繼資料存放區類型。固定值 | rest |
uri | DLF OpenAPI 公網服務地址。詳情請參見本文 Paimon REST 表格中的"OpenAPI 公網 Endpoint"列。 | https://dlfnext.cn-hangzhou.aliyuncs.com |
warehouse | DLF 資料目錄名稱。 | paimon_test |
dlf.region | DLF 服務所在的地區 ID(Region ID)。 | cn-hangzhou |
dlf.access-key-id | 阿里雲帳號或 RAM 使用者的 AccessKey ID。 | - |
dlf.access-key-secret | 阿里雲帳號或 RAM 使用者的 AccessKey Secret。 | - |
dlf.security-token | STS 安全性權杖。如果使用長期有效 AccessKey,則無需配置。 | - |
dlf.oss-endpoint | OSS 公網訪問地址。詳情請參見 OSS 的地區和Endpoint文檔。 | oss-cn-hangzhou.aliyuncs.com |
token.provider | 鑒權提供方,請固定設定為 | dlf |