DataWorks:メタデータの収集

MaxCompute デフォルトクローラー

このクローラーは、ご利用のアカウント配下にある MaxCompute プロジェクトからメタデータを収集します。詳細ページに移動し、Modify Data Scope をクリックして収集対象のプロジェクトを選択し、Permission Configurations をクリックしてテナント内でのメタデータの可視性を設定できます。

1. メタデータ収集ページの Built-in セクションで、MaxCompute デフォルトクローラーのカードを見つけ、Details をクリックします。

2. MaxCompute デフォルトクローラーの詳細ページには、Basic Information と Data Scope の 2 つのタブがあります。

   • Basic Information：収集タイプや収集方法など、クローラーの基本プロパティを表示します。この情報は読み取り専用です。

   • Data Scope：このクローラーが収集する MaxCompute プロジェクトを管理します。

3. 収集範囲の変更：

   1. Data Scope タブに切り替え、Modify Data Scope をクリックします。

   2. 表示されるダイアログボックスで、収集したい MaxCompute プロジェクトを選択または選択解除します。

      重要

      デフォルトでは、現在のテナント配下の現在のリージョンにあるワークスペースに関連付けられているすべての MaxCompute プロジェクトが範囲に含まれます。データ範囲を変更すると、データマップで収集されたメタデータオブジェクトは現在のデータ範囲と一致します。選択されていないプロジェクトのメタデータは表示されません。

   3. OK をクリックして変更を保存します。

4. メタデータの可視性の設定：

   • Data Scope リストで対象のプロジェクトを見つけ、Actions 列の Permission Configurations をクリックします。

   • データガバナンスの要件に基づいて可視性ポリシーを選択します。

     • Public Within Tenant：テナント内のすべてのメンバーがこのプロジェクトのメタデータを検索・閲覧できます。

     • Only members in the associated workspace can search and view.：特定のワークスペースのメンバーのみがこのプロジェクトのメタデータにアクセスでき、データの隔離が確保されます。

DLF デフォルトクローラー

Data Lake Formation (DLF) メタデータのリアルタイム収集を有効にするには、DLF コンソールでサービスリンクロール AliyunServiceRoleForDataworksOnEmr に Data Reader 権限を付与する必要があります。

DLF デフォルトクローラーは、ご利用のアカウント配下にある Data Lake Formation (DLF) からメタデータを収集します。

1. メタデータ収集ページの Built-in セクションで、DLF デフォルトクローラーのカードを見つけ、Details をクリックして基本情報を表示します。

2. Data Scope タブに切り替えて、収集範囲に含まれる DLF カタログのリストと各カタログのテーブル数を表示します。

   デフォルトでは、アクセス可能なすべてのカタログ (DLF および DLF-Legacy バージョンを含む) が収集されます。

Create Custom Crawler

1. メタデータ収集ページのカスタムクローラーリストセクションで、[メタデータ収集の作成] をクリックします。

2. 収集タイプの選択：タイプ選択ページで、Hologres や StarRocks など、収集する対象のデータソースタイプを選択します。

3. 基本設定とリソースグループの設定：

   • Basic Configurations：

     • ワークスペースの選択：収集するデータソースが存在するワークスペースを選択します。

     • Select Data Source：ドロップダウンリストから対象のデータソースを選択します。選択後、システムは自動的にデータソースの詳細情報を表示します。

     • Name：後で識別できるようにクローラーの名前を入力します。デフォルトでは、データソース名と同じです。

   • Resource Group Configuration：

     • Resource Group：収集タスクを実行するリソースグループを選択します。

     • Test Network Connectivity：このステップは重要です。Test Network Connectivity をクリックして、リソースグループがデータソースに正常にアクセスできることを確認してください。

       重要

       • データソースでホワイトリストが有効になっているか確認してください。ホワイトリストベースのアクセス制御を持つデータソースからメタデータを収集する必要がある場合は、「概要」および「ホワイトリストの設定」を参照して、ホワイトリストの権限を設定してください。

       • データソースでホワイトリストが有効になっていない場合は、「リソースグループの操作とネットワーク接続」を参照して、データソースのネットワーク接続を確立してください。

       • 接続テストでエラー Backend service call failed: test connectivity failed.not support data type が返された場合は、テクニカルサポートに連絡してリソースグループをアップグレードしてください。

4. メタデータ収集の設定：

   • Collection Scope：収集するデータベース (database/schema) を定義します。データソースがデータベース粒度の場合、データソースに対応するデータベースがデフォルトで選択されます。データソース以外の追加のデータベースを選択することもできます。

     重要

     • 各データベースは 1 つのクローラーでのみ設定できます。データベースが選択できない場合、それはすでに別のクローラーによって収集されています。

     • 収集範囲を狭めると、範囲外のメタデータはデータマップで検索できなくなります。

5. インテリジェント拡張と収集計画の設定：

   • インテリジェント拡張設定 (ベータ版)：

     • AI 生成の説明：この機能を有効にすると、メタデータ収集後に、システムが大規模言語モデルの機能を利用して、テーブルとカラムのビジネス上の説明を自動生成し、メタデータの可読性とユーザビリティを大幅に向上させます。収集完了後、データマップのテーブルオブジェクトの詳細ページで、AI が生成した情報 (テーブルの説明やカラムの説明など) を確認できます。

   • Collection Plan：

     • Trigger Mode：手動または定期的を選択します。

       • 手動：クローラーは手動でトリガーされた場合にのみ実行されます。このモードは、1 回限りまたはオンデマンドの収集シナリオに適しています。

       • 定期的：定期タスク (月次、日次、週次、時次など) を設定します。システムは定期的にメタデータを自動更新します。

         分単位の定期タスクを設定するには、収集周期を時間単位に設定し、すべての分単位の粒度オプションを選択することで、5 分ごとに実行されるタスクを実現できます。

         重要

         本番環境のデータソースのみが定期的収集をサポートしています。

6. 設定の保存：Save または Save and Run をクリックして、クローラーの作成を完了します。

カスタムクローラーの管理

クローラーが作成されると、カスタムクローラーリストに表示されます。以下の管理操作を実行できます。

• リスト操作：リストでは、クローラーに対して Run、Stop、Delete などの操作を直接実行できます。上部にある Filter と Search 機能を使用して、対象のクローラーをすばやく見つけることができます。

  重要

  メタデータクローラーを削除すると、そのクローラーによってデータマップに収集されたメタデータオブジェクトは無効になります。そのクローラーからのオブジェクトとその詳細を検索または表示できなくなります。操作は慎重に行ってください。

• バッチ操作：リストで複数のクローラーを選択し、リストの下部にある Run または Stop を使用して、複数の収集タスクを一度にトリガーまたは終了させ、管理効率を向上させます。

• クローラーのステータス：クローラーリストには、各クローラーの現在のステータスが表示されます。一般的なステータスには、未実行、実行中、成功、失敗があります。

  説明

  クローラーにバインドされているデータソースがバインド解除されたり無効になったりすると、クローラーは凍結状態になります。凍結されたクローラーは実行や編集ができず、削除のみが許可されます。

• 詳細とログの表示：対象のクローラーの名前をクリックして、その詳細ページに移動します。

  • Basic Information：クローラーのすべての設定項目を表示します。

  • Data Scope：Modify Data Scope を表示または実行します。

    収集が実行されていない場合、テーブル数と最終更新時間は空です。

    次のデータソースは範囲変更をサポートしていません：EMR Hive、CDH Hive、Lindorm、Elasticsearch、OTS、MongoDB、および AnalyticDB for MySQL 内の AnalyticDB for Spark。

  • Run Logs：各収集タスクの実行履歴を追跡します。各タスクの開始時刻、持続時間、ステータス、収集されたデータ量を確認できます。タスクが失敗した場合、View Logs をクリックすることが、問題の特定と解決の重要なエントリポイントになります。

• 手動での収集実行：詳細ページの右上隅にある Collect Metadata をクリックして、収集タスクをすぐにトリガーします。これは、新しく作成したテーブルをすぐにデータマップに表示させたい場合に便利です。

データテーブル

AnalyticDB for Spark と AnalyticDB for MySQL は同じメタデータ収集エントリポイントを共有します。

タスクコード

データマップはタスクコードの検索とクイックナビゲーションをサポートしています。以下に検索可能なコードの範囲を説明します。

API 資産

データマップは、以下に説明するように、Data Service API のメタデータの表示をサポートしています。

AI 資産

データマップは AI 資産の表示と管理をサポートし、AI 資産リネージを提供してデータとモデルの起源、使用、進化を追跡します。以下に、各タイプの AI 資産のサポート状況を説明します。

Workspace

データマップは、以下に説明するように、ワークスペースメタデータの表示をサポートしています。