Paimon カタログデータソースは、Data Lake Formation (DLF) 以外で作成された Paimon テーブルのメタデータを収集・統制し、データマップで Paimon データレイクアセットを統合的に管理できるようにします。
概要
レイクハウスアーキテクチャが普及するにつれて、Paimon、Iceberg、Delta Lake などのオープンテーブルフォーマットは、リアルタイムデータウェアハウスの構築や統合バッチストリーム処理を実現するための基盤となっています。Paimon カタログは、Flink ストリーム処理エコシステムとのネイティブな互換性により、広く使用されています。
DataWorks は Data Lake Formation と統合しており、DLF データソースを通じてデータレイクテーブルを統合的に管理できます。ただし、ユーザーが Flink エンジンを使用して Paimon カタログを定義し、メタデータとデータを Alibaba Cloud OSS に保存している場合、DLF の管理対象外となります。
Paimon カタログデータソースは、このギャップを埋めるために、DLF で管理されていないネイティブなレイクフォーマットのメタデータ収集とガバナンスを可能にします。これにより、自己定義のカタログデータをレイクハウス全体で可視化、管理、利用できるようになります。
制限事項
-
ネットワーク接続：サーバーレスリソースグループのみに対応しています。
-
シナリオ：Paimon カタログは現在、[データディスカバリー]とガバナンスのみに利用できます。データ統合およびデータ同期タスクはサポートしていません。データ同期のために Paimon テーブルへの読み取りと書き込みを行う場合は、DLF や OSS などの他のデータソースを使用してください。
操作手順
1. データソースページへの移動
-
DataWorks コンソールにログインし、対象のリージョンに切り替えます。左側メニューで ワークスペース をクリックし、対象のワークスペースの [操作] 列で 管理 をクリックして管理ページに移動します。
-
ワークスペース管理センターページで、左側メニューの データソース をクリックして、データソースページに移動します。
2. Paimon カタログデータソースの追加
-
データソース ページで、データソースの作成 をクリックします。
-
データソースの追加ダイアログボックスで、[Paimon カタログ] を検索して選択します。
3. パラメータの設定
次のパラメータを設定します。
|
パラメータ |
説明 |
|
[データソース名] |
任意のデータソース名を指定します (例： |
|
カタログ |
接続のカタログ名 (例： |
|
メタストア |
カタログのストレージタイプ。現在、[Filesystem] のみに対応しています。 |
|
ファイルシステム |
ファイルストレージのタイプ。現在、OSS のみに対応しています。 |
|
[アクセスモード] |
|
|
[リージョン] |
最適なパフォーマンスを得るために、ワークスペースと同じリージョンのバケットを選択してください。リージョン間のデータソースの場合は、VPC ピアリング接続を確立してください。詳細については、「同じ Alibaba Cloud アカウント配下の異なるリージョンにあるデータソースへの接続」をご参照ください。または、パブリックエンドポイントを使用して接続することもできます。 |
|
エンドポイント |
エンドポイントの詳細については、「アクセスドメイン名とデータセンター」をご参照ください。 |
|
[ウェアハウス] |
ウェアハウスパス：OSS 内の Paimon カタログのストレージパス。
|
をクリックして、リストからパスを選択できます。4. 接続テスト
設定後、接続テストを実行して、データソースとリソースグループ間の接続を確認します。
-
[接続可能]と表示された場合、設定は正しいです。
-
[接続不可]と表示された場合、診断ツールが開き、トラブルシューティングを支援します。一般的な原因には、認証情報の誤り、IP アドレスホワイトリストが設定されていないなどのネットワーク接続の問題、または NAT ゲートウェイの欠落が含まれます。
-
標準モードでは、開発環境と本番環境の両方が[接続可能]であることを確認する必要があります。そうでない場合、メタデータ収集などの後続の操作中にエラーが発生します。
次のステップ
データソースを追加した後、データマップに移動してメタデータを収集します。その後、収集されたアセットを表示して管理できます。