リネージ情報の表示 - DataWorks - Alibaba Cloud ドキュメントセンター

DataWorks データマップは、テーブルと DataService Studio API の各詳細ページで詳細なリネージ情報を提供し、データオリジンの追跡と依存関係の管理に役立ちます。コンソールでは、EMR Hive、Data Lake Formation (DLF)、Data Lake Formation (DLF-Legacy) などのタイプ別にコンピューティングとメタデータを分類しています。このページでは、各タイプのリネージを表示する方法について説明します。

[テーブルリネージ]

エントリポイントの表示

Data Map で、テーブルを見つけてその詳細ページに移動します。データリネージ タブをクリックすると、テーブルレベルおよびフィールドレベルのリネージ詳細を表示できます。また、影響分析を実行してダウンストリームテーブルのリストを取得したり、リストをローカルファイルとしてダウンロードしたり、E メールで変更通知を送信したりすることもできます。

説明

データマップには、スケジューリングジョブとデータ転送情報から解析されたリネージが表示されます。一時的なクエリなどの手動操作によるリネージは含まれません。オフラインデータリネージは T+1 ベースで更新されます。

複雑で複数レベルのリネージをより広い領域で表示するには、リネージグラフの右上のツールバーにある [新しいページで開く] ボタン (全画面表示アイコン) をクリックします。これにより、リネージが別のページで開きます。このボタンは、テーブル、データセット、DataService Studio API、および AI アセットのリネージタブで利用できます。

説明

ワークスペースまたはテナントでデータリネージ機能が有効になっていない場合、リネージタブに移動するとサブスクリプションページが表示されます。画面の指示に従って、機能を購入または有効化してください。

各データソースの制限

EMR Hive、DLF、および DLF-Legacy

EMR Hive：DataWorks で EMR クラスターのメタデータを管理するには、まずクラスターで EMR-HOOK を設定する必要があります。EMR-HOOK が設定されていない場合、DataWorks でリネージを表示できません。詳細については、「Hive 用の EMR-HOOK の設定」をご参照ください。
DLF および DLF-Legacy：Data Lake Formation (DLF) および Data Lake Formation (DLF-Legacy) のテーブルの場合、メタデータが収集された後、データマップにリネージが表示されます。これは、コンピューティングジョブが Serverless Spark、Serverless StarRocks、または Serverless Flink エンジンで DLF メタデータを使用する場合にサポートされます。他のエンジンやシナリオの場合、リネージ表示はメタデータの取得と解析の機能に依存します。詳細については、「メタデータの取得」をご参照ください。
重要
Serverless Spark、Serverless StarRocks、および Serverless Flink エンジンは、DataWorks ワークスペースに関連付ける必要があります。関連付けられていない場合、対応するリネージは DataWorks と無関係と見なされ、無視されます。
EMR Hive コンピューティングクラスターの場合：リネージの表示は、EMR on ACK Spark クラスターではサポートされていませんが、EMR Serverless Spark クラスターではサポートされています。
EMR Hive コンピューティングクラスターの場合：EMR Presto ノードで実行されるタスクではリネージは利用できません。
EMR Impala エンジン: EMR Impala ジョブのリネージ取得は、Impala 独自のリネージログに依存します。EMR クラスターコンソールで、[クラスターサービス] > [Impala] > [設定] に移動します。lineage_event_log_dir パラメーターを /mnt/disk1/log/impala/lineage_log に設定し、Impala サービスを再起動します。これらの手順を実行すると、DataWorks Data Map は EMR Impala ジョブのテーブルレベルおよびフィールドレベルのリネージを表示できるようになります。
説明
- EMR DataLake クラスター上の Impala ジョブのみがサポートされています。HMS (EMR Hive データソースタイプに対応) と DLF (DLF データソースタイプに対応) の両方のメタデータがサポートされています。
- EMR クラスターのバージョンや Impala のバージョンに関する要件はありません。Impala がクラスターにデプロイされていることだけが要件です。
- この機能は現在グレーリリース中です。使用する前に、チケットを送信するか、Alibaba Cloud テクニカルサポートに連絡して有効にしてください。

AnalyticDB for MySQL

説明

AnalyticDB for MySQL インスタンスのデータリネージ機能を有効にするには、対応するエンジンで SQL 文 set adb_config RC_LINEAGE_INFO_LOG_ENABLE=true を実行します。
メタデータソースが AnalyticDB for Spark タイプの場合、自動収集がサポートされます。
メタデータソースが AnalyticDB for Spark タイプの場合、Spark パラメーター spark.sql.queryExecutionListeners = com.aliyun.dataworks.meta.lineage.LineageListener を設定することで、リアルタイムリネージを有効にできます。

AnalyticDB for MySQL タイプのテーブルでは、一部の SQL 処理コマンドはデータマップでのリネージ情報の生成をサポートしていません。以下の制限が適用されます。

リネージ表示をサポートしない SQL コマンド：

サポートされていない SQL

例

join、union、または * などのキーワードの使用はサポートされていません。

例えば、以下の SQL は * を使用しているため、Data Map はリネージを表示できません。

INSERT INTO test SELECT * FROM test1, test2 WHERE test1.id = test2.id

サブクエリはサポートされていません。

たとえば、次の SQL にはサブクエリが含まれているため、データマップはリネージを表示できません。

SELECT column1, column2 FROM table1 WHERE column3 IN (SELECT column4 FROM table2 WHERE column5 = 'value')

リネージ表示をサポートする SQL コマンドの例：
- 例 1：テーブル A (列を指定しない) を作成し、テーブル B から特定の列 ( を除く) を選択した内容でテーブル A を作成します。例：
```
CREATE TABLE test AS SELECT id,name FROM test1;
```
- 例 2：条件 column1 = value1 を満たすテーブル A から特定の列 ( を除く) をテーブル B (列を指定しない) に挿入します。例：
```
INSERT INTO test SELECT id,name FROM test1 WHERE name='test';
```
- 例 3：データベース内のテーブル A から特定の列 ( を除く) をテーブル B に上書きします。例：
```
INSERT OVERWRITE INTO db_name.test SELECT id,name FROM test1;
```

CDH

データマップで CDH Spark SQL および CDH Spark ノードのデータ処理のテーブルリネージを表示するには、管理センター > クラスターの管理 で各データ処理モジュールの Spark パラメーターを設定します。

[Management Center] ページに移動します。
DataWorks コンソールにログインします。左側のナビゲーションウィンドウで、[Management Center] をクリックします。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。
左側メニューで、クラスターの管理 をクリックし、作成したターゲット CDH クラスターを見つけます。
Spark のパラメーターの編集 をクリックします。
特定のデータ処理モジュールに基づいて Spark パラメーターを追加します。
たとえば、データマップの [運用センター - スケジュールされたインスタンス] モジュールで CDH Spark SQL および CDH Spark ノードによるデータ処理のテーブルリネージを表示するには、対応するモジュールに次のパラメーターを追加します。
- [Spark プロパティ名]：spark.sql.queryExecutionListeners
- [Spark プロパティ値]：com.aliyun.dataworks.meta.lineage.LineageListener
確認をクリックして編集を完了します。

Lindorm

説明

リネージ情報の収集はインスタンスモードでのみサポートされています。接続文字列モードでは、リネージ情報の収集はサポートされていません。

データマップで Lindorm Spark および Lindorm Spark SQL ノードのデータ処理のテーブルリネージを表示するには、管理センター > 計算リソース で各データ処理モジュールの Spark パラメーターを設定します。

[Management Center] ページに移動します。
DataWorks コンソールにログインします。左側のナビゲーションウィンドウで、[Management Center] をクリックします。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。
左側メニューで、計算リソース をクリックし、作成した Lindorm コンピューティングリソースを見つけます。
Spark のパラメーターの編集 をクリックします。
特定のデータ処理モジュールに基づいて Spark パラメーターを追加します。
たとえば、データマップの [運用センター - スケジュールされたインスタンス] モジュールで Lindorm Spark および Lindorm Spark SQL ノードによるデータ処理のテーブルリネージを表示するには、対応するモジュールに次のパラメーターを追加します。
- [Spark プロパティ名]：spark.sql.queryExecutionListeners
- [Spark プロパティ値]：com.aliyun.dataworks.meta.lineage.LineageListener
確認をクリックして Spark パラメーターの設定を完了します。

データソースごとのリネージのサポート

説明

データマップの元の E-MapReduce カテゴリは、メタデータソースに基づいて EMR Hive、DLF、DLF-Legacy に分割されています。次の表に、現在のコンソールに表示されるデータソースカテゴリ別のリネージのサポート状況を示します。

データソース

Data Integration

Data Studio

テーブルレベルのリネージ

カラムレベルのリネージ

テーブルレベルのリネージ

カラムレベルのリネージ

AnalyticDB MySQL

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

AnalyticDB PostgreSQL

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

ClickHouse

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

CDH/CDP

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

Hive、Impala、Spark、Spark SQL

insert into /insert overwrite table

create as select from table

create external table

Hive、Impala、Spark、Spark SQL

insert into /insert overwrite table

create as select from table

create external table

EMR Hive

詳細ページ

詳細ページ - リネージ情報

バッチ同期

(OSS、Hive)

リアルタイム同期

バッチ同期

(OSS、Hive)

リアルタイム同期

対応エンジン：E-MapReduce、サーバーレス Spark、サーバーレス StarRocks、サーバーレス Flink、および EMR Impala (EMR DataLake クラスターのみ。現在はグレイリリース中のため、利用前に Alibaba Cloud テクニカルサポートに連絡して有効化する必要があります)。

insert into /insert overwrite table

create as select from table

create external table

対応エンジン：E-MapReduce、サーバーレス Spark、サーバーレス StarRocks、サーバーレス Flink、および EMR Impala (EMR DataLake クラスターのみ。現在はグレイリリース中のため、利用前に Alibaba Cloud テクニカルサポートに連絡して有効化する必要があります)。

insert into /insert overwrite table

create as select from table

create external table

DLF-Legacy

詳細ページ

詳細ページ - リネージ情報

バッチ同期

(OSS、Hive)

リアルタイム同期

バッチ同期

(OSS、Hive)

リアルタイム同期

対応エンジン：E-MapReduce、サーバーレス Spark、サーバーレス StarRocks、サーバーレス Flink、および EMR Impala (EMR DataLake クラスターのみ。現在はグレイリリース中のため、利用前に Alibaba Cloud テクニカルサポートに連絡して有効化する必要があります)。

insert into /insert overwrite table

create as select from table

create external table

対応エンジン：E-MapReduce、サーバーレス Spark、サーバーレス StarRocks、サーバーレス Flink、および EMR Impala (EMR DataLake クラスターのみ。現在はグレイリリース中のため、利用前に Alibaba Cloud テクニカルサポートに連絡して有効化する必要があります)。

insert into /insert overwrite table

create as select from table

create external table

DLF

詳細ページ

詳細ページ - リネージ情報

バッチ同期

(OSS、Hive)

リアルタイム同期

バッチ同期

(OSS、Hive)

リアルタイム同期

対応エンジン：サーバーレス Spark、サーバーレス StarRocks、サーバーレス Flink、および EMR Impala (EMR DataLake クラスターのみ。現在はグレイリリース中のため、利用前に Alibaba Cloud テクニカルサポートに連絡して有効化する必要があります)。

insert into /insert overwrite table

create as select from table

create external table

対応エンジン：サーバーレス Spark、サーバーレス StarRocks、サーバーレス Flink、および EMR Impala (EMR DataLake クラスターのみ。現在はグレイリリース中のため、利用前に Alibaba Cloud テクニカルサポートに連絡して有効化する必要があります)。

insert into /insert overwrite table

create as select from table

create external table

Hologres

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期 (MySQL/Kafka/LogHub を Hologres に同期)

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Kafka

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

(Kafka を MaxCompute/Hologres に同期)

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Lindorm

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create table

create table like

insert into /insert overwrite table

create as select from table

create table

create table like

MaxCompute

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期 (MySQL/Kafka/PolarDB MySQL/LogHub を MaxCompute に同期)

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

MySQL

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

(MySQL を MaxCompute/Hologres に同期)

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Oracle

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OceanBase

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OSS

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB MySQL

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期 (PolarDB MySQL を MaxCompute に同期)

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB PostgreSQL

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PostgreSQL

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

StarRocks

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

SelectDB

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

SQL Server

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Tablestore (OTS)

詳細ページ

詳細ページ - リネージ情報

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

DataService Studio API リネージ

データマップで DataService Studio API を見つけ、詳細ページに移動します。データリネージ タブをクリックして、API リネージの詳細を確認します。

AI アセットリネージ

AI アセットリネージは、入力データセット、出力結果セット、およびモデルトレーニングにおけるモデル間の関係を追跡します。詳細については、「AI アセットリネージ」をご参照ください。