DataWorks:データマップ

制限事項

• コード検索とデータリネージ分析は、DataWorks Standard Edition 以上でのみ利用できます。

• データアルバムは、DataWorks Professional Edition 以上でのみ利用できます。

メタデータの収集

• MaxCompute メタデータおよび DLF メタデータ：データマップは、組み込みのコレクターを使用して、MaxCompute および DLF のメタデータを自動的に収集します。

• その他のメタデータタイプ：カスタムメタデータ収集を使用して、Hologres、E-MapReduce、CDH Hive、StarRocks、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、MySQL、PostgreSQL、Oracle、SQL Server、ClickHouse、Elasticsearch、Tablestore、Lindorm、OSS などの他のデータソースからメタデータをインポートします。詳細については、「メタデータの収集」をご参照ください。

ネットワーク接続

メタデータをインポートするには、データマップのメタデータコレクターがデータベースにアクセスできることを確認してください。データベースでアクセス制御にホワイトリストを使用している場合は、DataWorks ワークスペースが所在するリージョンの CIDR ブロックをホワイトリストに追加してください。詳細については、「アクセス制御を使用するデータソースからのメタデータ収集に必要なホワイトリスト設定」をご参照ください。

概要

• 概要ページには、現在のリージョンの MaxCompute リソースメトリクスが表示されます：プロジェクト数、テーブル数、ストレージ使用量、API 数、ストレージ傾向、ストレージ別上位プロジェクト、ストレージ別上位テーブル、人気テーブル。

• メタデータ収集が完了すると、[AnalyticDB for MySQL 3.0]、[MySQL]、[ホログレス]、[AnalyticDB for PostgreSQL]、[Tablestore] などのデータソースのデータベース数、テーブル数、API 数を確認できます。

「概要」をご参照ください。

メタデータ検索

データマップは、テーブル、コード、インデックス、API、データセット、AI モデル、アルゴリズムタスク、モデルサービス、ワークスペースのメタデータを集約します。タイプ、ワークスペース、所有者、環境、タグ、カテゴリで現在のリージョン内を検索できます。「メタデータ検索」をご参照ください。

データディレクトリ形式でテーブルやデータセットを参照することもできます。

メタデータの詳細

オブジェクト名をクリックすると、詳細ページが開きます。

• テーブルの場合、Basic Information、Output information、Lineage Information を表示します。テーブルの詳細を表示

  説明

  [データリネージ] ページでは、エンジンノードの内部データリネージを表示できます。サポートされているエンジンノードのタイプは、製品ページによって異なります。MaxCompute は、オフライン同期に基づくエンドツーエンドのリネージもサポートしており、リネージ階層を展開して、テーブルの上流および下流のリネージを元のソースから最終的な宛先まで追跡できます。

• API については、Parameter Information、Sample Response、[リネージ情報]、および [使用方法] を表示できます。API の詳細を表示。

  

• データセットでは、そのAttribute Information、[リネージ]、および[使用方法]を表示できます。

  

コードを検索することもできます。検索結果をクリックすると、そのソースノードまたはリソースにリダイレクトされます。詳細については、「メタデータの詳細」をご参照ください。

テーブルの整理と管理

カテゴリを使用してテーブルを整理し、検索時にカテゴリでフィルタリングできます。「設定の管理」をご参照ください。

• データアルバム：関連するデータをビジネスの観点から管理されるデータアルバムにまとめて、表示や管理がしやすくなります。

• [Categories]

  1. Manage Configurations > Manage Categories ページから、指定されたカテゴリにテーブルを一括で追加できます。

     カテゴリナビゲーションを設定した後、最下層のカテゴリを選択して、特定のプロジェクトからテーブルを一括追加します。「設定の管理」をご参照ください。

  2. My Data ページから、指定したカテゴリにテーブルを一括で追加できます。

     [マイデータ] ページ ([自分が所有] および [自分が管理]) から、カテゴリにテーブルを一括追加します。「マイデータ」をご参照ください。

• テーブル管理：MaxCompute テーブルの場合、表示名の一括変更、ライフサイクルの設定、開発テーブルまたは本番テーブルの削除、所有権の移転を実行できます。「マイデータ」をご参照ください。

• お気に入り：よく使うテーブルをお気に入りに追加します。My Data ページの My Favorites グループで、お気に入りに追加したテーブルを表示できます。マイデータ。

  • テーブルをMy Favoritesに追加: テーブル詳細ページで、「お気に入り」をクリックしてテーブルをMy Favoritesに追加します。 テーブル詳細の表示。 My Data ページで、My Favorites グループ配下のテーブルを表示します。 テーブルをお気に入りに追加。

  • My Favorites リストからテーブルを削除する：

    • My Data ページの My Favorites グループで、テーブルをお気に入りから削除します。

    • お気に入りのテーブルの詳細ページで、Remove from Favorites を使用して削除します。

テーブル権限の管理

• テーブル操作権限のリクエスト

  標準モードのワークスペースでは、デフォルトで RAM ユーザーは本番テーブルに対して SQL コマンドを実行できません。本番テーブルにアクセスしたり、アカウントをまたいでクエリを実行したりするには、Apply for Permissions をクリックします。これにより Security Center にリダイレクトされます。テーブルに対する権限をリクエストする。

  説明

  デフォルトでは、テーブルクエリ権限を持たない RAM ユーザーは、テーブル詳細ページでデータプレビューを使用できません。

• MaxCompute テーブルのデータプレビュー権限の制御

  Manage Configurations > Manage Workspaces ページで、特定のワークスペースにある MaxCompute の開発テーブルまたは本番テーブルのプレビュー権限を有効にします。これにより、すべてのワークスペースメンバーはアクセスをリクエストすることなくテーブルをプレビューできるようになります。ワークスペースの管理。

  説明

  • この操作により機密データが公開される可能性があります。実行する前に、リスクを慎重に評価してください。

  • そのワークスペースのプロジェクト所有者またはワークスペース管理者がこの操作を実行できます。

  • この権限は、Data Map のテーブル詳細ページにあるData Preview 機能のみを制御します。

• テーブルの非表示：非表示にしたテーブルは検索結果から除外されます。すべてのユーザーからテーブルを非表示にするか、ワークスペースメンバーのみに表示を制限します。「マイデータ」をご参照ください。

  • 単一テーブルの非表示: My Data > [自分が所有] ページで、テーブルの表示設定を更新します。

    説明

    デフォルトでは、テーブル所有者とワークスペース管理者は、これらの権限制御の対象外です。

    

  • プロジェクトレベルの一括非表示: Manage Configurations > Manage Workspaces で、Workspace を選択し、プロジェクト内のすべてのテーブルの非表示プロパティを設定します。

    

テーブルメタデータの更新

テーブルが検索結果に表示されない場合、または最近の変更が反映されていない場合は、テーブルのメタデータを更新してください。

1. 検索結果ページで、Refresh Table Metadataをクリックします。

2. Data Map の My Data > Refresh Table Metadata ページに移動します:

   

更新後に、データマップでテーブルを再度検索してください。