Region表示DLF的数据中心所在的地域,Endpoint表示DLF元数据API对外服务的访问域名。本文为您介绍DLF支持的地域。
DLF Region和Endpoint对照表
VPC网络同时支持HTTP和HTTPS协议访问,OpenAPI仅支持HTTPS协议访问。当前已开通的各地域和Endpoint如下。
Paimon REST
Region | Region ID | VPC网络Endpoint | OpenAPI 公网Endpoint | VPC网络VIP网段 |
华东1(杭州) | cn-hangzhou | cn-hangzhou-vpc.dlf.aliyuncs.com | dlfnext.cn-hangzhou.aliyuncs.com | 100.115.114.0/25 |
华北2(北京) | cn-beijing | cn-beijing-vpc.dlf.aliyuncs.com | dlfnext.cn-beijing.aliyuncs.com | 100.115.116.0/25 |
华东2(上海) | cn-shanghai | cn-shanghai-vpc.dlf.aliyuncs.com | dlfnext.cn-shanghai.aliyuncs.com | 100.115.117.0/25 |
华南1(深圳) | cn-shenzhen | cn-shenzhen-vpc.dlf.aliyuncs.com | dlfnext.cn-shenzhen.aliyuncs.com | 100.115.115.0/25 |
华北6(乌兰察布) | cn-wulanchabu | cn-wulanchabu-vpc.dlf.aliyuncs.com | dlfnext.cn-wulanchabu.aliyuncs.com | 100.115.120.0/25 |
中国香港 | cn-hongkong | cn-hongkong-vpc.dlf.aliyuncs.com | dlfnext.cn-hongkong.aliyuncs.com | 100.115.126.0/25 |
德国(法兰克福) | eu-central-1 | eu-central-1-vpc.dlf.aliyuncs.com | dlfnext.eu-central-1.aliyuncs.com | 100.115.119.0/25 |
日本(东京) | ap-northeast-1 | ap-northeast-1-vpc.dlf.aliyuncs.com | dlfnext.ap-northeast-1.aliyuncs.com | 100.115.122.0/25 |
新加坡 | ap-southeast-1 | ap-southeast-1-vpc.dlf.aliyuncs.com | dlfnext.ap-southeast-1.aliyuncs.com | 100.115.118.0/25 |
印度尼西亚(雅加达) | ap-southeast-5 | ap-southeast-5-vpc.dlf.aliyuncs.com | dlfnext.ap-southeast-5.aliyuncs.com | 100.115.128.0/25 |
美国(硅谷) | us-west-1 | us-west-1-vpc.dlf.aliyuncs.com | dlfnext.us-west-1.aliyuncs.com | 100.115.124.0/25 |
美国(弗吉尼亚) | us-east-1 | us-east-1-vpc.dlf.aliyuncs.com | dlfnext.us-east-1.aliyuncs.com | 100.115.131.128/25 |
Paimon REST OpenAPI Endpoint 使用限制与注意事项
命名限制:目前仅支持字母、数字和特定符号的数据库和表名。
默认禁用:OpenAPI Endpoint 默认为关闭状态。开启方法请参见DLF开通公网访问。
性能考虑:相比 VPC Endpoint,OpenAPI Endpoint 延迟稍高。
参数配置:必须配置 OSS 公网 Endpoint。
Iceberg REST
Region | Region ID | VPC网络Endpoint | VPC网络VIP网段 |
华东1(杭州) | cn-hangzhou | cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg | 100.115.114.0/25 |
华北2(北京) | cn-beijing | cn-beijing-vpc.dlf.aliyuncs.com/iceberg | 100.115.116.0/25 |
华东2(上海) | cn-shanghai | cn-shanghai-vpc.dlf.aliyuncs.com/iceberg | 100.115.117.0/25 |
华南1(深圳) | cn-shenzhen | cn-shenzhen-vpc.dlf.aliyuncs.com/iceberg | 100.115.115.0/25 |
华北6(乌兰察布) | cn-wulanchabu | cn-wulanchabu-vpc.dlf.aliyuncs.com/iceberg | 100.115.120.0/25 |
中国香港 | cn-hongkong | cn-hongkong-vpc.dlf.aliyuncs.com/iceberg | 100.115.126.0/25 |
德国(法兰克福) | eu-central-1 | eu-central-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.119.0/25 |
日本(东京) | ap-northeast-1 | ap-northeast-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.122.0/25 |
新加坡 | ap-southeast-1 | ap-southeast-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.118.0/25 |
印度尼西亚(雅加达) | ap-southeast-5 | ap-southeast-5-vpc.dlf.aliyuncs.com/iceberg | 100.115.128.0/25 |
美国(硅谷) | us-west-1 | us-west-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.124.0/25 |
美国(弗吉尼亚) | us-east-1 | us-east-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.131.128/25 |
DLF开通公网访问
该功能目前处于公测阶段。详情请参见公网访问DLF Paimon REST公测说明。
开启公网访问
基于安全考虑,DLF 服务的公网访问入口默认关闭。DLF 管理员必须手动启用该功能:
登录数据湖构建控制台。
在左侧导航栏,选择数据目录。
选择目标数据目录,切换到目录配置页签。
在高级配置部分,添加或修改参数:
enable.openapi设置为true。
配置示例
以下示例展示如何通过公网连接 DLF 的 Paimon REST Catalog。Paimon 客户端(Java 和 Python)建议使用 1.4.1 及以上版本。
Java
Options options = new Options();
// 配置 DLF 公网地址
options.set("uri", "https://dlfnext.cn-hangzhou.aliyuncs.com");
options.set("warehouse", "paimon_test");
options.set("dlf.region", "cn-hangzhou");
options.set("dlf.access-key-id", "您的AccessKeyId");
options.set("dlf.access-key-secret", "您的AccessKeySecret");
// 必须配置 OSS 公网 Endpoint
options.set("dlf.oss-endpoint", "oss-cn-hangzhou.aliyuncs.com");
options.set("token.provider", "dlf");
Catalog restCatalog = new RESTCatalog(CatalogContext.create(options));Java 配置参数说明如下。
配置项 | 说明 | 示例值 |
uri | DLF OpenAPI 公网服务地址。详情请参见本文 Paimon REST 表格中的"OpenAPI 公网 Endpoint"列。 | https://dlfnext.cn-hangzhou.aliyuncs.com |
warehouse | DLF 数据目录名称。 | paimon_test |
dlf.region | DLF 服务所在的地域 ID(Region ID)。 | cn-hangzhou |
dlf.access-key-id | 阿里云账号或 RAM 用户的 AccessKey ID。 | - |
dlf.access-key-secret | 阿里云账号或 RAM 用户的 AccessKey Secret。 | - |
dlf.oss-endpoint | OSS 公网访问地址。详情请参见 OSS 的地域和Endpoint文档。 | oss-cn-hangzhou.aliyuncs.com |
token.provider | 鉴权提供方,请固定设置为 | dlf |
Python
from pypaimon import CatalogFactory
options = {
# Python 客户端必须指定 metastore 类型为 rest
'metastore': 'rest',
'uri': 'https://dlfnext.cn-hangzhou.aliyuncs.com',
'warehouse': 'paimon_test',
'dlf.region': 'cn-hangzhou',
'dlf.access-key-id': '您的AccessKeyId',
'dlf.access-key-secret': '您的AccessKeySecret',
# 若使用 STS 临时凭证,请配置此项
'dlf.security-token': '您的SecurityToken',
'dlf.oss-endpoint': 'oss-cn-hangzhou.aliyuncs.com',
'token.provider': 'dlf',
}
rest_catalog = CatalogFactory.create(options)Python 配置参数说明如下。
配置项 | 说明 | 示例值 |
metastore | 元数据存储类型。固定值 | rest |
uri | DLF OpenAPI 公网服务地址。详情请参见本文 Paimon REST 表格中的"OpenAPI 公网 Endpoint"列。 | https://dlfnext.cn-hangzhou.aliyuncs.com |
warehouse | DLF 数据目录名称。 | paimon_test |
dlf.region | DLF 服务所在的地域 ID(Region ID)。 | cn-hangzhou |
dlf.access-key-id | 阿里云账号或 RAM 用户的 AccessKey ID。 | - |
dlf.access-key-secret | 阿里云账号或 RAM 用户的 AccessKey Secret。 | - |
dlf.security-token | STS 安全令牌。如果使用长期有效的 AccessKey,则无需配置。 | - |
dlf.oss-endpoint | OSS 公网访问地址。详情请参见 OSS 的地域和Endpoint文档。 | oss-cn-hangzhou.aliyuncs.com |
token.provider | 鉴权提供方,请固定设置为 | dlf |