DataWorks では、Apache Gravitino データソースを設定して Gravitino 統合メタデータ管理サービスに接続し、複数の異種データソースからメタデータを収集および管理できます。メタデータ型データソースとして、設定後にデータマップでメタデータ収集とガバナンスが可能になります。このトピックでは、このデータソースの設定方法について説明します。
概要
Apache Gravitino は、Hive、Iceberg、JDBC などの異種データソースからのメタデータ管理をサポートするオープンソースの統合メタデータ管理フレームワークです。Gravitino を使用することで、企業は既存のデータストレージアーキテクチャを変更することなく、エンジンやシステム間で統合メタデータ管理を実現できます。
DataWorks は Apache Gravitino データソースを提供し、Gravitino で管理されるメタデータを DataWorks データマップに統合します。これにより、Gravitino カタログ内のデータ資産に対するメタデータ収集、検出、ガバナンスが可能になり、データ資産の統合ビューの構築に役立ちます。
制限事項
-
ネットワーク接続： サーバーレスリソースグループのみがサポートされています。
-
ユースケース： Apache Gravitino データソースは[データディスカバリー]とガバナンスにのみ適用されます。Data Integration 同期タスクには使用できません。
-
ネットワーク要件： DataWorks リソースグループが Gravitino サービスエンドポイントにアクセスできる必要があります。ネットワーク接続を確保してください。
操作手順
1. データソースページへの移動
-
DataWorks コンソールにログインします。 対象リージョンに切り替え、左側のナビゲーションペインでワークスペース をクリックし、対象ワークスペースの [操作] 列で管理 をクリックします。
-
ワークスペース管理センターで、左側のナビゲーションペインのデータソースをクリックします。
2. Apache Gravitino データソースの作成
-
データソース ページで、データソースの作成 をクリックします。
-
表示されるダイアログボックスで、[メタデータ] タブをクリックし、[Apache Gravitino] を検索して選択します。
3. パラメータの設定
プロンプトに従って、次のパラメータを設定します。
|
パラメータ |
説明 |
|
[データソース名] |
データソースのカスタム名です (例： |
|
説明 |
データソースを識別するための説明です。 |
|
設定モード |
データソースの設定モードです。現在、フォームを通じて設定項目を入力できる [選択モード] がサポートされています。 |
|
エンドポイント |
Gravitino サービスのアドレスです (例： |
4. 接続テスト
データソースを設定した後、接続テストを実行して、データソースとリソースグループ間の正常なネットワーク通信を確認してください。
-
接続可能 と表示されている場合、設定は正しいです。
-
接続不可 が表示された場合、システムは問題のトラブルシューティングに役立つ診断ツールを提供します。一般的な原因として、エンドポイント設定の誤り、ネットワーク障害 (IP ホワイトリストが設定されていない)、および NAT ゲートウェイの欠落などが挙げられます。
-
標準モードでは、開発環境と本番環境の両方で接続可能と表示されていることを確認してください。そうでない場合、後続のメタデータ収集中にエラーが発生します。