リージョンは、Data Lake Formation (DLF) のデータセンターの場所を指します。エンドポイントは、DLF メタデータ API へのアクセスに使用するドメイン名です。DLF は、サポート対象の各リージョンで、VPC およびパブリックネットワークアクセス用に異なるエンドポイントを提供します。
DLF のリージョンとエンドポイント
VPC エンドポイントは HTTP と HTTPS の両方をサポートします。パブリックエンドポイントは HTTPS のみをサポートします。
Paimon REST
リージョン | リージョン ID | VPC エンドポイント | パブリックエンドポイント | VPC の CIDR ブロック |
China (Hangzhou) | cn-hangzhou | cn-hangzhou-vpc.dlf.aliyuncs.com | dlfnext.cn-hangzhou.aliyuncs.com | 100.115.114.0/25 |
China (Beijing) | cn-beijing | cn-beijing-vpc.dlf.aliyuncs.com | dlfnext.cn-beijing.aliyuncs.com | 100.115.116.0/25 |
China (Shanghai) | cn-shanghai | cn-shanghai-vpc.dlf.aliyuncs.com | dlfnext.cn-shanghai.aliyuncs.com | 100.115.117.0/25 |
China (Shenzhen) | cn-shenzhen | cn-shenzhen-vpc.dlf.aliyuncs.com | dlfnext.cn-shenzhen.aliyuncs.com | 100.115.115.0/25 |
China (Ulanqab) | cn-wulanchabu | cn-wulanchabu-vpc.dlf.aliyuncs.com | dlfnext.cn-wulanchabu.aliyuncs.com | 100.115.120.0/25 |
China (Hong Kong) | cn-hongkong | cn-hongkong-vpc.dlf.aliyuncs.com | dlfnext.cn-hongkong.aliyuncs.com | 100.115.126.0/25 |
Germany (Frankfurt) | eu-central-1 | eu-central-1-vpc.dlf.aliyuncs.com | dlfnext.eu-central-1.aliyuncs.com | 100.115.119.0/25 |
Japan (Tokyo) | ap-northeast-1 | ap-northeast-1-vpc.dlf.aliyuncs.com | dlfnext.ap-northeast-1.aliyuncs.com | 100.115.122.0/25 |
Singapore | ap-southeast-1 | ap-southeast-1-vpc.dlf.aliyuncs.com | dlfnext.ap-southeast-1.aliyuncs.com | 100.115.118.0/25 |
Indonesia (Jakarta) | ap-southeast-5 | ap-southeast-5-vpc.dlf.aliyuncs.com | dlfnext.ap-southeast-5.aliyuncs.com | 100.115.128.0/25 |
US (Silicon Valley) | us-west-1 | us-west-1-vpc.dlf.aliyuncs.com | dlfnext.us-west-1.aliyuncs.com | 100.115.124.0/25 |
US (Virginia) | us-east-1 | us-east-1-vpc.dlf.aliyuncs.com | dlfnext.us-east-1.aliyuncs.com | 100.115.131.128/25 |
パブリックエンドポイントの制限と注意点
命名規則：データベース名とテーブル名には、文字、数字、および特定の記号のみを使用できます。
デフォルトで無効：パブリックエンドポイントはデフォルトで無効になっています。有効にする方法については、「DLF のパブリックネットワークアクセスを有効化」をご参照ください。
パフォーマンスに関する考慮事項：パブリックエンドポイントは、内部エンドポイントよりもレイテンシーがわずかに高くなります。
パラメーター設定：OSS パブリックエンドポイントを設定する必要があります。
Iceberg REST
リージョン | リージョン ID | VPC エンドポイント | VPC の CIDR ブロック |
China (Hangzhou) | cn-hangzhou | cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg | 100.115.114.0/25 |
China (Beijing) | cn-beijing | cn-beijing-vpc.dlf.aliyuncs.com/iceberg | 100.115.116.0/25 |
China (Shanghai) | cn-shanghai | cn-shanghai-vpc.dlf.aliyuncs.com/iceberg | 100.115.117.0/25 |
China (Shenzhen) | cn-shenzhen | cn-shenzhen-vpc.dlf.aliyuncs.com/iceberg | 100.115.115.0/25 |
China (Ulanqab) | cn-wulanchabu | cn-wulanchabu-vpc.dlf.aliyuncs.com/iceberg | 100.115.120.0/25 |
China (Hong Kong) | cn-hongkong | cn-hongkong-vpc.dlf.aliyuncs.com/iceberg | 100.115.126.0/25 |
Germany (Frankfurt) | eu-central-1 | eu-central-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.119.0/25 |
Japan (Tokyo) | ap-northeast-1 | ap-northeast-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.122.0/25 |
Singapore | ap-southeast-1 | ap-southeast-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.118.0/25 |
Indonesia (Jakarta) | ap-southeast-5 | ap-southeast-5-vpc.dlf.aliyuncs.com/iceberg | 100.115.128.0/25 |
US (Silicon Valley) | us-west-1 | us-west-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.124.0/25 |
US (Virginia) | us-east-1 | us-east-1-vpc.dlf.aliyuncs.com/iceberg | 100.115.131.128/25 |
DLF のパブリックネットワークアクセスを有効化
この機能は現在ベータ版です。詳細については、「DLF のパブリックネットワーク接続が利用可能になりました」をご参照ください。
パブリックネットワークアクセスの有効化
セキュリティのため、DLF へのパブリックネットワークアクセスはデフォルトで無効になっています。管理者は、次の手順に従って有効化してください。
DLF コンソールにログインします。
左側メニューで、 Catalogs を選択します。
対象のデータカタログをクリックし、 Catalog Configuration タブをクリックします。
Advanced Settings セクションで、パラメーター
enable.openapiを追加または変更し、trueに設定します。
設定例
以下の例は、パブリックネットワーク経由で DLF に接続する Paimon REST カタログを作成する方法を示します。Paimon クライアント (Java および Python) はバージョン 1.4.1 以降の使用を推奨します。
Java
Options options = new Options();
// DLF パブリックエンドポイントの設定
options.set("uri", "https://dlfnext.cn-hangzhou.aliyuncs.com");
options.set("warehouse", "paimon_test");
options.set("dlf.region", "cn-hangzhou");
options.set("dlf.access-key-id", "YourAccessKeyId");
options.set("dlf.access-key-secret", "YourAccessKeySecret");
// OSS パブリックエンドポイントを設定する必要があります
options.set("dlf.oss-endpoint", "oss-cn-hangzhou.aliyuncs.com");
options.set("token.provider", "dlf");
Catalog restCatalog = new RESTCatalog(CatalogContext.create(options));次の表にパラメーターを示します。
パラメーター | 説明 | 例 |
uri | DLF OpenAPI パブリックエンドポイント。上記の Paimon REST の表の「パブリックエンドポイント」列をご参照ください。 | https://dlfnext.cn-hangzhou.aliyuncs.com |
warehouse | DLF データカタログ名。 | paimon_test |
dlf.region | DLF サービスのリージョン ID。 | cn-hangzhou |
dlf.access-key-id | Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID。 | - |
dlf.access-key-secret | Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey Secret。 | - |
dlf.oss-endpoint | OSS パブリックエンドポイント。詳細については、「リージョンとエンドポイント」をご参照ください。 | oss-cn-hangzhou.aliyuncs.com |
token.provider | 認証プロバイダー。 | dlf |
Python
from pypaimon import CatalogFactory
options = {
# Python クライアントでは、メタストアタイプを rest に設定する必要があります
'metastore': 'rest',
'uri': 'https://dlfnext.cn-hangzhou.aliyuncs.com',
'warehouse': 'paimon_test',
'dlf.region': 'cn-hangzhou',
'dlf.access-key-id': 'YourAccessKeyId',
'dlf.access-key-secret': 'YourAccessKeySecret',
# STS セキュリティトークンを使用する場合に設定します
'dlf.security-token': 'YourSecurityToken',
'dlf.oss-endpoint': 'oss-cn-hangzhou.aliyuncs.com',
'token.provider': 'dlf',
}
rest_catalog = CatalogFactory.create(options)次の表にパラメーターを示します。
パラメーター | 説明 | 例 |
metastore | メタストアタイプ。 | rest |
uri | DLF OpenAPI パブリックエンドポイント。上記の Paimon REST の表の「パブリックエンドポイント」列をご参照ください。 | https://dlfnext.cn-hangzhou.aliyuncs.com |
warehouse | DLF データカタログ名。 | paimon_test |
dlf.region | DLF サービスのリージョン ID。 | cn-hangzhou |
dlf.access-key-id | Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID。 | - |
dlf.access-key-secret | Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey Secret。 | - |
dlf.security-token | STS セキュリティトークン。永続的な AccessKey ペアを使用する場合は不要です。 | - |
dlf.oss-endpoint | OSS パブリックエンドポイント。詳細については、「リージョンとエンドポイント」をご参照ください。 | oss-cn-hangzhou.aliyuncs.com |
token.provider | 認証プロバイダー。 | dlf |