データマップは、組織全体のデータを検索、プレビュー、追跡できるエンタープライズデータカタログです。グローバルなメタデータ検索、メタデータの詳細、データリネージ分析、カテゴリ管理を提供します。
制限事項
-
コード検索とデータリネージ分析は、DataWorks Standard Edition 以降でのみ利用できます。
-
データアルバムは、DataWorks Professional Edition 以降でのみ利用できます。
メタデータの収集
-
MaxCompute メタデータと Data Lake Formation (DLF) メタデータ:データマップは、組み込みのコレクターを介して MaxCompute と DLF のメタデータを自動的に収集します。
-
その他の種類のメタデータ:カスタムメタデータ収集を使用して、Hologres、E-MapReduce、CDH Hive、StarRocks、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、MySQL、PostgreSQL、Oracle、SQL Server、ClickHouse、Elasticsearch、Tablestore、Lindorm、OSS などの他のデータソースからメタデータをインポートします。詳細については、「メタデータの収集」をご参照ください。Hudi のメタデータ収集はサポートされていません。
ネットワーク接続
メタデータをインポートするには、データマップのメタデータコレクターがデータベースにアクセスできることを確認してください。データベースがアクセス制御にホワイトリストを使用している場合は、DataWorks ワークスペースのリージョンの CIDR ブロックをホワイトリストに追加します。詳細については、「アクセス制御を持つデータソースからのメタデータ収集に必要なホワイトリスト設定」をご参照ください。
概要
-
概要ページには、現在のリージョンの MaxCompute リソースメトリクスが表示されます:プロジェクト数、テーブル数、ストレージ使用量、API 数、ストレージの傾向、ストレージ別のトッププロジェクト、ストレージ別のトップテーブル、人気のテーブル。
-
メタデータの収集が完了すると、[AnalyticDB for MySQL 3.0]、[MySQL]、[Hologres]、[AnalyticDB for PostgreSQL]、[Tablestore] などのデータソースのデータベース、テーブル、API 数を表示できます。
詳細については、「概要」をご参照ください。
メタデータ検索
データマップは、テーブル、コード、インデックス、API、データセット、AI モデル、アルゴリズムタスク、モデルサービス、ワークスペースのメタデータを集約します。現在のリージョン内でタイプ、ワークスペース、所有者、環境、タグ、カテゴリ別に検索できます。詳細については、「メタデータ検索」をご参照ください。
データマップの検索ページでは、左側のパネルでデータソース ([MaxCompute]、[EMR Hive]、[DLF]、[Oracle]、[Hologres] など) でフィルタリングできます。検索は、[テーブルのみ]、[カラムのみ]、[テーブルとカラム] の 3 つのモードをサポートしています。検索結果では、各テーブルに対して[権限の申請] または[リネージの表示] ができます。
データディレクトリ形式でテーブルとデータセットを閲覧することもできます。
メタデータの詳細
オブジェクト名をクリックすると、その詳細ページが開きます。
-
テーブルの場合:基本情報、出力情報、データリネージ を表示できます。詳細については、「テーブルの詳細表示」をご参照ください。
データリネージ タブには、[テーブルリネージ]、[カラムリネージ]、[影響分析] のサブタブが含まれています。[テーブルリネージ] サブタブでは、リネージグラフ内のテーブルノードをクリックすると、右側の詳細パネルにそのエンティティタイプ、名前、データソースタイプ、ストレージサイズ、ライフサイクル、その他のプロパティが表示されます。[権限の申請] をクリックして権限を申請することもできます。
説明[データリネージ] ページで、エンジンノードの内部データリネージを表示できます。サポートされるエンジンノードのタイプは、製品ページによって異なります。MaxCompute は、オフライン同期に基づくエンドツーエンドリネージもサポートしており、リネージ階層を展開して、テーブルの上流および下流のリネージを元のソースと最終的な宛先まで追跡できます。
-
API の場合:パラメーター情報、サンプルに戻る、[リネージ情報]、[使用手順] を表示できます。詳細については、「API の詳細表示」をご参照ください。
API 詳細ページの左側には、基本情報 (閲覧数、呼び出し回数、API ID、API パス、ワークスペース、所有者など) と [技術情報] (API タイプ、リクエストメソッド、応答タイプ、データソースのタイプと名前、テーブル名) が表示されます。
-
データセットの場合:そのプロパティ情報、[リネージ]、[使用手順] を表示できます。
[プロパティ情報] タブには、以下が表示されます:
-
基本プロパティ:[エンティティタイプ]、[ソース]、[データタイプ]、[所有者]、[名前]、プロジェクト、[ストレージタイプ]、[可視性]、[作成日時]、[更新日時]。
-
データセットのバージョン情報:[バージョン]、[URI]、[バケット]、[パス]、[リージョン]、[デフォルトのマウントパス]。[OSS で表示] をクリックすると、対応するストレージに移動できます。
-
コードを検索することもできます。結果をクリックすると、そのソースノードまたはリソースに移動します。詳細については、「メタデータの詳細」をご参照ください。
テーブルの整理と管理
カテゴリを使用してテーブルを整理し、検索時にカテゴリでフィルタリングできます。詳細については、「設定の管理」をご参照ください。
Alibaba Cloud アカウントまたは AliyunDataWorksFullAccess ポリシーを持つ RAM ユーザーは、カテゴリツリーを編集できます。
-
データアルバム:関連データをビジネスの観点から管理されるデータアルバムに整理することで、表示と管理が容易になります。
-
[カテゴリ管理]
-
テーブル管理:MaxCompute テーブルの場合、表示名の一括変更、ライフサイクルの設定、開発テーブルまたは本番テーブルの削除、所有権の移管ができます。詳細については、「マイデータ」をご参照ください。
-
お気に入り:頻繁にアクセスするテーブルをお気に入りに追加します。データ ページで、お気に入り グループ内のお気に入りに追加したテーブルを表示できます。詳細については、「マイデータ」をご参照ください。
-
テーブルをお気に入り に追加する:テーブル詳細ページで、[お気に入り] をクリックしてテーブルをお気に入り に追加します。詳細については、「テーブルの詳細表示」をご参照ください。データ ページのお気に入り グループでテーブルを表示できます。詳細については、「テーブルをお気に入りに追加する」をご参照ください。
-
お気に入り リストからテーブルを削除する:
-
データ ページで、お気に入り グループに移動し、テーブルをお気に入りから削除します。
-
お気に入りに追加したテーブルの詳細ページで、お気に入りから削除 を使用して削除します。
-
-
テーブル権限の管理
-
テーブルを操作するための権限の申請
標準モードのワークスペースでは、RAM ユーザーはデフォルトで本番テーブルに対して SQL コマンドを実行できません。本番テーブルにアクセスしたり、アカウントをまたいでクエリを実行したりするには、権限のリクエスト をクリックします。これにより、[セキュリティセンター]に移動します。詳細については、「テーブル権限の申請」をご参照ください。
説明デフォルトでは、テーブルのクエリ権限を持たない RAM ユーザーは、テーブル詳細ページでデータプレビューを使用できません。
-
MaxCompute テーブルのデータプレビュー権限の制御
構成管理 > プロジェクト管理構成 ページで、特定のワークスペース内の MaxCompute 開発テーブルまたは本番テーブルのプレビュー権限を有効にします。これにより、すべてのワークスペースメンバーはアクセスを要求することなくテーブルをプレビューできます。詳細については、「ワークスペースの管理」をご参照ください。
説明-
この操作は機密データを漏洩させる可能性があります。続行する前に、リスクを慎重に評価してください。
-
プロジェクトの所有者またはワークスペースの管理者がこの操作を実行できます。
-
この権限は、データマップのテーブル詳細ページの データプレビュー 機能のみを制御します。
-
-
テーブルの非表示:非表示のテーブルは検索結果から除外されます。すべてのユーザーからテーブルを非表示にするか、ワークスペースのメンバーに可視性を制限できます。詳細については、「マイデータ」をご参照ください。
-
単一テーブルの非表示:データ > [私が所有] ページで、テーブルの可視性設定を更新します。
説明デフォルトでは、テーブルの所有者とワークスペースの管理者は、これらの権限制御の対象外です。
[操作] 列の [テーブル情報の更新] をクリックします。ダイアログボックスで、[可視性] には次のオプションがあります:
-
[すべてのテナントメンバーに表示]
-
[関連するワークスペースのメンバーにのみ表示]
-
[プライベート]
-
-
プロジェクトレベルでの一括非表示:構成管理 > プロジェクト管理構成 でプロジェクト を選択し、プロジェクト内のすべてのテーブルの非表示プロパティを設定します。
[MaxCompute エンジン設定] テーブルで、[デフォルトでプロジェクト内のみ表示] トグルをオンにすると、対応するコンピュートエンジン配下のすべてのテーブルが一括で非表示になります。
-
テーブルメタデータの更新
テーブルが検索結果に表示されない場合や、最近の変更が反映されていない場合に、テーブルのメタデータを更新します。
-
検索結果ページで、テーブルの手動同期 をクリックします。
-
データマップの ページに移動します。
[データタイプ] ([MaxCompute]、[EMR Hive]、または [DLF]) を選択し、[GUID] フィールドにテーブルの GUID (例:
project.schema.tableまたはodps.project.schema.table) を入力し、[更新] をクリックします。 -
MaxCompute または DLF テーブルの詳細ページで、[その他] > [メタデータの更新] をクリックして、テーブルのメタデータを手動で更新します。MaxCompute テーブルでは、[その他] メニューに[API の生成] オプションもあり、詳細タブには[データインサイト]、[データヘルス]、[使用履歴] が含まれます。
更新後、データマップで再度テーブルを検索してください。