DataWorks:メタデータ収集

MaxCompute デフォルトクローラー

このクローラーは、ご利用のアカウント配下の MaxCompute プロジェクトからメタデータを収集します。「詳細」ページで Modify Data Scope をクリックして収集対象のプロジェクトを選択し、Permission Configurations をクリックしてテナント内でのメタデータの可視性を設定できます。

1. メタデータ収集ページの Built-in セクションで、MaxCompute Default Crawler カードを見つけ、Details をクリックします。

2. MaxCompute デフォルトクローラーの詳細ページには、次の 2 つのタブがあります。Basic Information および Data Scope。

   • Basic Information：収集タイプや収集方法などのクローラーの基本プロパティを表示します。この情報は読み取り専用です。

   • Data Scope：このクローラーがどの MaxCompute プロジェクトからメタデータを収集するかを管理します。

3. 収集範囲の変更：

   1. Data Scope タブに切り替え、Modify Data Scope ボタンをクリックします。

   2. 表示されたダイアログで、メタデータを収集する MaxCompute プロジェクトを選択または選択解除します。

      重要

      デフォルトでは、現在のリージョン内でご利用のテナント配下のワークスペースに関連付けられているすべての MaxCompute プロジェクトが範囲に含まれます。データ範囲を変更すると、Data マップで収集されるメタデータオブジェクトは、現在のデータ範囲と一致します。選択解除されたプロジェクトのメタデータは表示されなくなります。

   3. OK をクリックして変更を保存します。

4. メタデータの可視性設定：

   • Data Scope リストで対象のプロジェクトを見つけ、Actions 列の Permission Configurations をクリックします。

   • データガバナンス要件に基づいて、可視性ポリシーを選択します。

     • Public Within Tenant: テナント内のすべてのメンバーが、このプロジェクトのメタデータを検索および表示できます。

     • Only members in the associated workspace can search and view.: 特定のワークスペースのメンバーのみがこのプロジェクトのメタデータにアクセスでき、データの隔離を確保します。

DLF デフォルトクローラー

DLF メタデータのリアルタイム収集を有効にするには、DLF コンソールでサービスリンクロール AliyunServiceRoleForDataworksOnEmr にデータリーダー権限を付与する必要があります。

DLF デフォルトクローラーは、ご利用のアカウント配下の Data Lake Formation (DLF) からメタデータを収集します。

1. メタデータ収集ページの Built-in セクションで、DLF Default Crawler カードを見つけ、Details をクリックして基本情報を表示します。

2. Data Scope タブに切り替えて、収集範囲に含まれる DLF カタログの一覧とそのテーブル数を確認します。

   デフォルトでは、アクセス可能なすべてのカタログ（DLF および DLF-Legacy を含む）が収集されます。

Create Custom Crawler

1. メタデータ収集ページのカスタムクローラーリストセクションで、[Create Metadata Crawler] をクリックします。

2. 収集タイプの選択：タイプ選択ページで、収集対象のデータソースタイプ（例：Hologres または StarRocks）を選択します。

3. 基本設定とリソースグループの設定：

   • Basic Configurations：

     • ワークスペースの選択：データソースを含むワークスペースを選択します。

     • Select Data Source：ドロップダウンリストから、事前に作成済みの対象データソースを選択します。選択後、システムが自動的にデータソースの詳細を表示します。

     • Name：後で識別しやすいようにクローラーに名前を付けます。デフォルトでは、データソース名と同じになります。

   • Resource Group Configuration：

     • Resource Group：収集タスクを実行するリソースグループを選択します。

     • Test Network Connectivity：このステップは重要です。Test Network Connectivity をクリックして、リソースグループがデータソースにアクセスできることを確認します。

       重要

       • データソースで許可リスト制限が有効になっているかどうかを確認してください。許可リストベースのアクセス制御を使用しているデータソースからメタデータを収集する必要がある場合は、「リソースグループの IP アドレスを許可リストに追加」および「データソースの許可リストの設定」を参照して、許可リスト権限を設定してください。

       • データソースで許可リスト制限が有効になっていない場合は、「データソースのネットワーク接続の設定」を参照して、データソースのネットワーク接続を確立してください。

       • 接続テストでエラー Backend service call failed: test connectivity failed.not support data type が返された場合は、テクニカルサポートに連絡してリソースグループをスペックアップしてください。

4. メタデータ収集の設定：

   • Collection Scope：収集するデータベース（database/schema）を定義します。データソースがデータベース単位の場合、デフォルトで対応するデータベースが選択されます。データソース以外のデータベースも追加選択できます。

     重要

     • 各データベースは 1 つのクローラーでのみ設定できます。データベースがグレーアウトしている場合は、すでに別のクローラーで収集されています。

     • 収集範囲を縮小すると、範囲外のメタデータは Data マップで検索できなくなります。

5. インテリジェント強化と収集プランの設定：

   • インテリジェント強化（ベータ版）：

     • AI による説明文の生成：有効にすると、メタデータ収集後に大規模言語モデルの機能を使用して、テーブルおよびカラムのビジネス説明文を自動生成します。これにより、メタデータの可読性と使いやすさが大幅に向上します。収集完了後、Data マップのテーブルオブジェクト詳細ページで AI が生成した情報（テーブル説明やカラム説明など）を確認できます。

   • Collection Plan：

     • Trigger Mode: 手動または定期的に選択します。

       • 手動：クローラーは手動でトリガーした場合にのみ実行されます。ワンタイムまたはオンデマンド収集に適しています。

       • 定期：スケジュールタスク（月次、日次、週次、時間単位など）を設定すると、システムが定期的にメタデータを自動更新します。

         分単位のスケジュールタスクを設定するには、時間単位の収集サイクルを選択し、すべての分単位粒度を選択して、5 分ごとに実行されるスケジュールタスクを実装します。

         重要

         本番環境のデータソースのみが定期収集をサポートしています。

6. 設定の保存：Save または Save and Run をクリックして、クローラーの作成を完了します。

カスタムクローラーの管理

クローラーを作成すると、カスタムクローラーリストに表示されます。以下の管理操作を実行できます。

• リスト操作：リストで直接 Run、Stop、または Delete を実行できます。上部の Filter および Search 機能を使用して、目的のクローラーを素早く検索できます。

  重要

  メタデータクローラーを削除すると、Data マップでこのクローラーによって収集されたメタデータオブジェクトは無効になります。このクローラーからのオブジェクトおよびその詳細情報は、検索・閲覧できなくなります。慎重に操作してください。

• バッチ操作：クローラーリストで複数のクローラーを選択し、リスト下部の Batch Run または Batch Stop を使用して、複数の収集タスクを一度にトリガーまたは終了し、管理効率を向上させます。

• クローラーのステータス：クローラーリストには、各クローラーの現在のステータスが表示されます。一般的なステータスには、Not Run、Waiting、Running、Successful、Failed、および Manually Terminated があります。

  説明

  クローラーに関連付けられたデータソースが関連付け解除された、または無効になった場合、クローラーは frozen 状態になります。フローズン状態のクローラーは実行できず、削除のみ可能です。

• 詳細とログの表示：対象のクローラー名をクリックして、詳細ページに移動します。

  • Basic Information：クローラーのすべての設定項目を表示します。

  • Data Scope: 表示またはModify Data Scope。

    収集がまだ実行されていない場合、テーブル数と最終更新時刻は空になります。

    EMR Hive、CDH Hive、Lindorm、ElasticSearch、OTS、MongoDB、および AnalyticDB MySQL の AnalyticDB for Spark は、範囲の変更をサポートしていません。

  • Run Logs：各収集タスクの実行履歴を追跡します。各タスクの開始時刻、持続時間、ステータス、収集されたデータ量を確認できます。タスクが失敗した場合は、View Logs をクリックすることが、問題の特定と解決のための重要なエントリーポイントとなります。

• 手動での収集トリガー：詳細ページの右上隅で、Collect Metadata ボタンをクリックして、すぐに収集タスクをトリガーできます。Data マップで新しく作成したテーブルをすぐに確認したい場合に便利です。

データソース

• 表中の「収集サイクルに依存」とは、設定したクローラーの収集プラン（月次、日次、週次、時間単位など）に基づいて、メタデータが定期的に更新されることを意味します。

• AnalyticDB for Spark と AnalyticDB for MySQL は、メタデータ収集のエントリーポイントを共有しています。

タスクコード

Data マップは、タスクコードの検索とクイックナビゲーションをサポートしています。以下に、検索可能なコードの範囲を示します。

API アセット

Data マップは、Data Service API のメタデータの表示をサポートしています。以下にその内容を示します。

AI アセット

Data マップは、AI アセットの表示と管理をサポートし、データおよびモデルの出所、使用状況、進化を追跡するための AI アセットリネージを提供します。以下に、各 AI アセットタイプのサポート内容を示します。

Workspace

Data マップは、ワークスペースメタデータの表示をサポートしています。以下にその内容を示します。