DLF-Legacy カタログの管理 - Realtime Compute for Apache Flink - Alibaba Cloud ドキュメントセンター

Data Lake Formation (DLF) カタログを設定すると、Realtime Compute for Apache Flink 開発コンソールから直接 DLF インスタンス内のテーブルにアクセスできます。DLF テーブルを手動で登録する必要はありません。これにより、ジョブ開発の効率が向上し、データの正確性が保証されます。このトピックでは、DLF カタログの作成、表示、使用、削除方法について説明します。

説明

このトピックは DLF-Legacy にのみ適用されます。DLF-Legacy の代わりに、最新バージョンの Data Lake Formation (DLF) を使用することを推奨します。新しいバージョンの DLF の使用方法の詳細については、「Paimon カタログの管理」をご参照ください。

背景情報

Alibaba Cloud Data Lake Formation (DLF) は、Alibaba Cloud が提供する統合メタデータ管理プロダクトです。DLF を使用して、Iceberg、Hudi、Delta、Parquet、ORC、Avro などのオープンソースフォーマットのテーブルを管理できます。

前提条件

Alibaba Cloud Data Lake Formation (DLF)-Legacy サービスをアクティブ化する必要があります

制限事項

Flink は、DLF カタログ内の Iceberg および Hudi データレイクフォーマットの管理のみをサポートします。

DLF カタログの作成

DLF カタログは、UI を使用するか、SQL コマンドを実行して作成できます。UI を使用することを推奨します。

UI メソッド

[データ管理] ページに移動します。
1. Realtime Compute for Apache Flink コンソールにログインします。
2. 管理するワークスペースを見つけ、[操作] 列の [コンソール] をクリックします。
3. [データ管理] をクリックします。
[カタログの作成] をクリックし、[DLF] を選択してから [次へ] をクリックします。

DLF カタログを作成します。

カタログ情報を設定します。

DLF Catalog

設定項目	説明	必須	備考
[catalogname]	DLF カタログの名前。	はい	カスタム名を英語で入力します。
[access.key.id]	Object Storage Service (OSS) へのアクセスに必要な AccessKey ID。	はい	AccessKey ペアの取得方法の詳細については、「AccessKey ペアの取得」をご参照ください。
[access.key.secret]	OSS へのアクセスに必要な AccessKey Secret。	はい	AccessKey ペアの取得方法の詳細については、「AccessKey ペアの取得」をご参照ください。
ウェアハウス	DLF カタログ内のテーブルが格納されるデフォルトの OSS パス。これは、OSS サービスで指定されたデータウェアハウスディレクトリです。	はい	OSS と Hadoop 分散ファイルシステム (HDFS) をサポートします。 OSS パスフォーマット： `oss://<bucket>/<object>` OSS-HDFS パスフォーマット： `oss://<bucket>.<oss-hdfs-endpoint>/<object>` ここで： bucket：ご利用の OSS バケットの名前。OSS コンソールで表示できます。 object：データが格納されているパス。OSS コンソールで表示できます。 oss-hdfs-endpoint：OSS-HDFS サービスのエンドポイント。OSS コンソールで、バケットの [概要] ページに移動します。[アクセスポート] セクションで、[HDFS サービス] の [エンドポイント] を表示します。説明 Ververica Runtime (VVR) 8.0.3 以降のみ、このパラメーターを OSS-HDFS パスに設定することをサポートします。
[oss.endpoint]	Alibaba Cloud OSS のエンドポイント。例： `oss-cn-hangzhou-internal.aliyuncs.com`	はい	OSS と OSS-HDFS をサポートします。 OSS サービスのエンドポイントについては、「リージョンとエンドポイント」をご参照ください。 OSS-HDFS サービスのエンドポイントについては、OSS コンソールの [バケット] の [概要] ページに移動します。[アクセスポート] セクションで、[HDFS サービス] の [エンドポイント] を表示します。説明 oss.endpoint パラメーターを OSS の Virtual Private Cloud (VPC) エンドポイントに設定することを推奨します。たとえば、中国 (杭州) リージョンを選択した場合、oss.endpoint を oss-cn-hangzhou-internal.aliyuncs.com に設定します。 VPC をまたいで OSS にアクセスするには、「他のサービスに VPC をまたいでアクセスするにはどうすればよいですか？」をご参照ください。
[dlf.endpoint]	Alibaba Cloud DLF サービスのエンドポイント。	はい	説明 dlf.endpoint パラメーターを DLF の VPC エンドポイントに設定することを推奨します。たとえば、中国 (杭州) リージョンを選択した場合、dlf.endpoint パラメーターを dlf-vpc.cn-hangzhou.aliyuncs.com に設定します。 VPC をまたいで DLF にアクセスするには、「ワークスペース管理」をご参照ください。
dlf.region-id	Alibaba Cloud DLF サービスのリージョン名。これは DLF が存在するリージョンです。	はい	説明リージョンが dlf.endpoint で選択したものと同じであることを確認してください。
[その他の設定]	その他の DLF 設定。複数の DLF カタログを設定するには、改行で区切ります。	いいえ	例： `dlf.catalog.id:my_catalog`

[OK] をクリックします。

カタログが作成されると、[メタデータ] エリアに表示されます。

SQL メソッド

[データクエリ] ページのテキストエディターに、DLF カタログを作成する文を入力します。

CREATE CATALOG <yourcatalogname> WITH (
   'type' = 'dlf',
   'access.key.id' = '<YourAliyunAccessKeyId>',
   'access.key.secret' = '<YourAliyunAccessKeySecret>',
   'warehouse' = '<YourAliyunOSSLocation>',
   'oss.endpoint' = '<YourAliyunOSSEndpoint>',
   'dlf.region-id' = '<YourAliyunDLFRegionId>',
   'dlf.endpoint' = '<YourAliyunDLFEndpoint>'
);

パラメーター	説明	必須	備考
yourcatalogname	DLF カタログのカスタム名。	はい	カスタム名を英語で入力します。重要パラメーターをカタログ名に置き換えた後、山括弧 (<>) を削除してください。そうしないと、構文エラーが発生します。
type	タイプ。	はい	値は dlf に固定されています。
access.key.id	ご利用の Alibaba Cloud アカウントの AccessKey ID。	はい	AccessKey ペアの取得方法の詳細については、「AccessKey ペアの取得」をご参照ください。
access.key.secret	ご利用の Alibaba Cloud アカウントの AccessKey Secret。	はい	AccessKey ペアの取得方法の詳細については、「AccessKey ペアの取得」をご参照ください。
warehouse	DLF カタログ内のテーブルが格納されるデフォルトの OSS パス。	はい	フォーマット： oss://<bucket>/<object>。パラメーター： bucket：ご利用の OSS バケットの名前。 object：データが格納されているパス。説明バケットとオブジェクトの名前は OSS コンソールで表示します。
oss.endpoint	Alibaba Cloud OSS のエンドポイント。	はい	詳細については、「リージョンとエンドポイント」をご参照ください。説明 oss.endpoint パラメーターを OSS の VPC エンドポイントに設定することを推奨します。たとえば、中国 (杭州) リージョンを選択した場合、oss.endpoint を oss-cn-hangzhou-internal.aliyuncs.com に設定します。 VPC をまたいで OSS にアクセスするには、「ワークスペース管理」をご参照ください。
dlf.endpoint	Alibaba Cloud DLF サービスのエンドポイント。	はい	説明 dlf.endpoint パラメーターを DLF の VPC エンドポイントに設定することを推奨します。たとえば、中国 (杭州) リージョンを選択した場合、dlf.endpoint パラメーターを dlf-vpc.cn-hangzhou.aliyuncs.com に設定します。 VPC をまたいで DLF にアクセスするには、「ワークスペース管理」をご参照ください。
dlf.region-id	Alibaba Cloud DLF サービスのリージョン名。	はい	説明リージョンが dlf.endpoint で選択したものと同じであることを確認してください。

文を選択し、[実行] をクリックします。
作成されたカタログが左側の [メタデータ] エリアに表示されます。

DLF カタログの表示

DLF カタログが作成された後、以下の手順に従って DLF メタデータを表示します。

[データ管理] ページに移動します。
1. Realtime Compute for Apache Flink コンソールにログインします。
2. 管理するワークスペースを見つけ、[操作] 列の [コンソール] をクリックします。
3. [データ管理] をクリックします。
[カタログリスト] ページで、[カタログ名] と [タイプ] を表示します。
説明
カタログ内のデータベースとテーブルを表示するには、[表示] をクリックします。

DLF カタログの使用

DLF データベースの管理

[データクエリ] ページのテキストエディターで、以下の文を入力して実行します。文を実行するには、それを選択して [実行] をクリックします。データベースが作成または削除された後、[SQL 開発] ページの左側にある [メタデータ] セクションで結果を表示できます。

データベースの作成
```
CREATE DATABASE dlf.dlf_testdb;
```
データベースの削除
```
DROP DATABASE dlf.dlf_testdb;
```

DLF テーブルの管理

テーブルの作成
- コネクタで作成
  SQL メソッド
  [データクエリ] ページのテキストエディターで、以下の文を入力して実行します。文を実行するには、それを選択して [実行] をクリックします。テーブルが作成された後、[SQL 開発] ページの左側にある [メタデータ] セクションで表示できます。
```
CREATE TABLE dlf.dlf_testdb.iceberg (
  id    BIGINT,
  data  STRING,
  dt    STRING
) PARTITIONED BY (dt) WITH(
  'connector' = 'iceberg'
);

CREATE TABLE dlf.dlf_testdb.hudi (
  id    BIGINT PRIMARY KEY NOT ENFORCED,
  data  STRING,
  dt    STRING
) PARTITIONED BY (dt) WITH(
  'connector' = 'hudi'
);
```
  UI メソッド
  1. [データ管理] ページに移動します。
    Realtime Compute for Apache Flink コンソールにログインします。
    管理するワークスペースを見つけ、[操作] 列の [コンソール] をクリックします。
    [データ管理] をクリックします。
  2. 管理するカタログを見つけ、[操作] 列の [表示] をクリックします。
  3. 管理するデータベースを見つけ、[操作] 列の [表示] をクリックします。
  4. [テーブルの作成] をクリックします。
  5. [組み込みコネクタで接続] タブで、[接続方法] リストからテーブルタイプを選択します。
  6. [次へ] をクリックします。
  7. テーブル作成文を入力し、関連パラメーターを設定します。サンプルコード：
    CREATE TABLE dlf.dlf_testdb.iceberg ( id BIGINT, data STRING, dt STRING ) PARTITIONED BY (dt) WITH( 'connector' = 'iceberg' ); CREATE TABLE dlf.dlf_testdb.hudi ( id BIGINT PRIMARY KEY NOT ENFORCED, data STRING, dt STRING ) PARTITIONED BY (dt) WITH( 'connector' = 'hudi' );
  8. [OK] をクリックします。
- 既存のテーブルと同じスキーマを持つテーブルを作成する (このメソッドは Iceberg テーブルにのみ適用されます)
  [データクエリ] ページのテキストエディターで、以下の文を入力します。文を選択し、[実行] をクリックします。
```
CREATE TABLE iceberg_table_like LIKE iceberg_table;
```
テーブルの削除
```
DROP TABLE iceberg_table;
```

Iceberg テーブルスキーマの変更

[データクエリ] ページのテキストエディターで、以下の文を実行します。文を実行するには、それを選択して [実行] をクリックします。

操作	サンプルコード
テーブルプロパティの変更	`ALTER TABLE iceberg_table SET ('write.format.default'='avro');`
名前の変更	`ALTER TABLE iceberg_table RENAME TO new_iceberg_table;`
列名の変更	`ALTER TABLE iceberg_table RENAME id TO index;` 説明この操作は VVR 8.0.7 以降でのみサポートされます。
データ型の変更	`ALTER TABLE iceberg_talbe MODIFY (id, BIGINT)` 列のデータ型は、以下のルールに基づいて変更できます： INT -> BIGINT Float -> Double Decimal -> Decimal 説明この操作は VVR 8.0.7 以降でのみサポートされます。

データの書き込み

INSERT INTO dlf.dlf_testdb.iceberg VALUES (1, 'AAA', '2022-02-01'), (2, 'BBB', '2022-02-01');
INSERT INTO dlf.dlf_testdb.hudi VALUES (1, 'AAA', '2022-02-01'), (2, 'BBB', '2022-02-01');

データの読み取り

SELECT * FROM dlf.dlf_testdb.iceberg LIMIT 2;
SELECT * FROM dlf.dlf_testdb.hudi LIMIT 2;

DLF カタログの削除

警告

DLF カタログを削除しても、現在実行中のジョブには影響しません。ただし、削除されたカタログのテーブルを使用するジョブは、公開または再起動されると「テーブルが見つかりません」というエラーで失敗します。この操作は注意して実行してください。

DLF カタログは、UI を使用するか、SQL コマンドを実行して削除できます。UI を使用することを推奨します。

UI メソッド

[データ管理] ページに移動します。
1. Realtime Compute for Apache Flink コンソールにログインします。
2. 管理するワークスペースの [操作] 列にある [コンソール] をクリックします。
3. [データ管理] をクリックします。
[カタログリスト] ページで、削除したいカタログを見つけ、[操作] 列の [削除] をクリックします。
表示される確認メッセージで、[削除] をクリックします。
左側の [メタデータ] セクションからカタログが削除されたことを確認します。

SQL メソッド

[データクエリ] ページのテキストエディターで、以下の文を実行します。
```
DROP CATALOG ${catalog_name}
```
catalog_name は、削除したい DLF カタログの名前です。この名前は Realtime Compute for Apache Flink 開発コンソールに表示されます。
カタログを削除するために使用する文を選択し、文を右クリックしてから [実行] を選択します。
左側の [メタデータ] エリアからカタログが削除されたことを確認します。

Realtime Compute for Apache Flink:DLF-Legacy カタログの管理

背景情報

前提条件

制限事項

DLF カタログの作成

UI メソッド

SQL メソッド

DLF カタログの表示

DLF カタログの使用

DLF データベースの管理

DLF テーブルの管理

SQL メソッド

UI メソッド

Iceberg テーブルスキーマの変更

データの書き込み

データの読み取り

DLF カタログの削除

UI メソッド

SQL メソッド

関連ドキュメント