DataWorks:メタデータ取得

MaxCompute デフォルトクローラー

このクローラーは、アカウント配下の MaxCompute プロジェクトからメタデータを収集します。詳細ページで、[データ範囲の変更] オプションを使用して収集対象のプロジェクトを選択し、[権限設定] オプションを使用してテナント内のメタデータの可視性を設定できます。

1. メタデータ取得ページの [システム組み込み] セクションで、[MaxCompute デフォルトクローラー] カードを見つけて [詳細] をクリックします。

2. MaxCompute デフォルトクローラーの詳細ページには、[基本情報] タブと [データ範囲] タブが含まれています。

   • 基本情報: 収集タイプやメソッドなど、クローラーの基本的なプロパティを表示します。この情報は読み取り専用です。

   • データ範囲: クローラーがメタデータを収集する MaxCompute プロジェクトを管理します。

3. 収集範囲の変更:

   1. [データ範囲] タブに切り替え、[データ範囲の変更] ボタンをクリックします。

   2. 表示されるダイアログボックスで、収集に含める MaxCompute プロジェクトのチェックボックスを選択またはクリアします。

      重要

      デフォルトの範囲には、現在のテナントのワークスペースにアタッチされている、現在のリージョン内のすべての MaxCompute プロジェクトが含まれます。データ範囲を変更すると、データマップ内のメタデータオブジェクトが新しい範囲に合わせて更新されます。つまり、選択されていないプロジェクトのメタデータは表示されなくなります。

   3. [OK] をクリックして変更を保存します。

4. メタデータの可視性を設定する:

   • [データ範囲] リストで、対象のプロジェクトを見つけ、[アクション] 列の [権限設定] をクリックします。

   • データガバナンスの要件に基づいて可視性ポリシーを選択します。

     • テナント内で公開: テナント内のすべてのメンバーがこのプロジェクトのメタデータを検索および表示できます。

     • 関連付けられたワークスペースのメンバーのみが検索および表示可能: 特定のワークスペースのメンバーのみがこのプロジェクトのメタデータにアクセスできます。これにより、データの隔離が保証されます。

DLF デフォルトクローラー

DLF デフォルトクローラーは、アカウント配下の Data Lake Formation (DLF) からメタデータを収集します。

1. メタデータ取得ページの [システム組み込み] セクションで、[DLF デフォルトクローラー] カードを見つけて [詳細] をクリックし、その基本情報を表示します。

2. [データ範囲] タブに切り替えて、収集範囲内にある DLF カタログのリストと、それらが含むテーブルの数を表示します。

   デフォルトでは、DLF および DLF-Legacy バージョンを含む、アクセス可能なすべてのカタログが収集されます。

カスタムクローラーの作成

1. メタデータ取得ページのカスタムクローラーセクションで、[メタデータ収集の作成] をクリックします。

2. 収集タイプの選択: タイプ選択ページで、Hologres や StarRocks など、メタデータを収集する対象のデータソースのタイプを選択します。

3. 基本情報とリソースグループの設定:

   • 基本設定:

     • ワークスペースの選択: データソースが配置されているワークスペースを選択します。

     • データソースの選択: ドロップダウンリストから既存の対象データソースを選択します。データソースを選択すると、システムが自動的にその詳細を表示します。

     • 名前: クローラーの名前を入力します。デフォルトでは、クローラー名はデータソース名と同じです。

   • リソースグループの設定:

     • リソースグループ: 収集タスクを実行するリソースグループを選択します。

     • 接続性のテスト: このステップは重要です。[接続性のテスト] をクリックして、リソースグループがデータソースに正常にアクセスできることを確認します。

       重要

       • データソースでホワイトリストベースのアクセス制御が有効になっている場合は、ホワイトリストの権限を設定する必要があります。詳細については、「ネットワーク接続ソリューション」および「一般的な設定: ホワイトリストの追加」をご参照ください。

       • データソースがホワイトリストを使用しない場合は、そのためのネットワーク接続を確立する必要があります。詳細については、「リソースグループの操作とネットワーク接続」をご参照ください。

4. メタデータ収集の設定:

   • 収集範囲: メタデータを収集するデータベース (Database/Schema) を定義します。データソースがデータベースレベルの粒度を持つ場合、データソースに関連付けられたデータベースがデフォルトで選択されます。他のデータベースを選択することもできます。

     重要

     • データベースは 1 つのクローラーでのみ設定できます。データベースが選択できない場合、それは既に別のクローラーによって収集されています。

     • 収集範囲を狭めると、新しい範囲外のメタデータはデータマップで検索できなくなります。

5. インテリジェント拡張と収集スケジュールの設定:

   • インテリジェント拡張設定 (ベータ):

     • AI 生成の説明: この機能を有効にすると、メタデータを収集した後、システムは大規模モデルを使用してテーブルとフィールドのビジネス説明を自動的に生成します。これにより、メタデータの可読性と使いやすさが大幅に向上します。収集が完了した後、データマップのテーブルオブジェクトの詳細ページに移動して、テーブルの説明やフィールドの説明など、AI が生成した情報を表示できます。

   • 収集スケジュール:

     • トリガーメソッド: 手動または定期的に選択します。

       • 手動: クローラーは手動でトリガーされた場合にのみ実行されます。これは、1 回限りまたはオンデマンドの収集シナリオに適しています。

       • 定期的: スケジュールされたタスク (月次、日次、週次、時次など) を設定します。システムは定期的にメタデータを自動的に更新します。

         分単位 の粒度でタスクを設定するには、スケジュールを時間単位に設定し、目的の分を選択します。たとえば、5 分ごとに実行するタスクを設定できます。

         重要

         本番環境のデータソースのみが定期的な収集をサポートします。

6. 設定の保存: [保存] または [保存して実行] をクリックしてクローラーを作成します。

カスタムクローラーの管理

クローラーが作成されると、カスタムクローラーリストに表示されます。次の管理操作を実行できます。

• リスト操作: リストでは、クローラーを [実行]、[停止]、または [削除] できます。上部にある [フィルター] および [検索] 機能を使用して、対象のクローラーをすばやく見つけます。

  重要

  クローラーを削除すると、収集されたメタデータオブジェクトもデータマップから削除されます。これらのオブジェクトとその詳細は検索または表示できなくなります。注意して進めてください。

• 詳細とログの表示: 対象のクローラーの名前をクリックして、その詳細ページに移動します。

  • 基本情報: クローラーのすべての設定項目を表示します。

  • データスコープ：表示またはデータスコープの変更。

    収集が実行される前に表示した場合、テーブル数と最終更新時間は空です。

    次のデータソースでは範囲の変更はサポートされていません: EMR Hive、CDH Hive、Lindorm、Elasticsearch、OTS、および AnalyticDB for MySQL の AnalyticDB for Spark。

  • 実行ログ: 各収集タスクの実行履歴を追跡します。タスクの開始時刻、期間、ステータス、および収集されたデータの量を確認できます。タスクが失敗した場合は、[ログの表示] をクリックして、問題のトラブルシューティングと解決のための情報を見つけます。

• 収集タスクの手動実行: 詳細ページの右上隅にある [メタデータの収集] ボタンをクリックして、収集タスクをすぐにトリガーします。これは、新しく作成されたテーブルをすぐにデータマップで表示したい場合に便利です。

データテーブル

タスクコード

データマップは、タスクコードの検索と迅速な特定をサポートしています。次の表は、コード検索でサポートされている範囲を示しています。

API 資産

データマップは、以下に詳述するように、DataService Studio API のメタデータの表示をサポートしています。

AI 資産

データマップは、AI 資産の表示と管理をサポートしています。また、データとモデルのソース、使用状況、進化を追跡するための AI 資産リネージ機能も提供します。次の表は、さまざまな AI 資産のサポートについて説明しています。

ワークスペース

データマップは、以下に詳述するように、ワークスペースメタデータの表示をサポートしています。