リネージ情報の表示 - DataWorks - Alibaba Cloud ドキュメントセンター

DataWorks データマップでは、テーブルと DataService Studio API の詳細ページで詳細なリネージ情報を表示できます。この情報は、データの追跡と管理に役立ちます。このトピックでは、データマップでリネージを表示する方法について説明します。

テーブルリネージ

アクセス

テーブルを見つけて詳細ページに移動します。[リネージ] タブをクリックして、テーブルレベルとフィールドレベルのリネージ詳細を表示します。また、影響を分析したり、子孫テーブルのリストを取得したり、リストをローカルファイルとしてダウンロードしたり、変更通知をメールで送信したりすることもできます。

説明

データマップには、スケジューリングジョブとデータ転送情報から解析されたテーブル間およびフィールド間のリネージが表示されます。一時的なクエリなどの手動操作によるリネージは含まれません。オフラインデータのリネージは T+1 ベースで更新されます。

さまざまなタイプのデータソースに関する制限

E-MapReduce

DataWorks で DataLake またはカスタムクラスターのメタデータを管理するには、まずクラスターで EMR-HOOK を構成する必要があります。EMR-HOOK が構成されていない場合、データリネージは DataWorks に表示できません。EMR-HOOK の構成方法の詳細については、「Hive 用に EMR-HOOK を構成する」をご参照ください。
EMR on ACK ページで作成された Spark クラスターのデータリネージは表示できません。ただし、EMR Serverless Spark クラスターのデータリネージは表示できます。
EMR Presto ノードを使用して開発されたタスクのデータリネージは表示できません。

AnalyticDB for MySQL

説明

AnalyticDB for MySQL インスタンスのデータリネージ機能を有効にするには、チケットを送信する必要があります。
メタデータソースが AnalyticDB for Spark の場合、データは自動的に収集されます。
メタデータソースが AnalyticDB for Spark の場合、Spark パラメーター spark.sql.queryExecutionListeners = com.aliyun.dataworks.meta.lineage.LineageListener を構成してリアルタイムリネージを有効にできます。

AnalyticDB for MySQL テーブルの場合、特定の SQL コマンドはデータマップでのリネージ情報の生成をサポートしていません。制限は次のとおりです。

リネージ表示をサポートしない SQL コマンド:

サポートされていない SQL

例

join や union などのキーワードを含む、またはアスタリスクワイルドカード (*) を使用する SQL 文。

たとえば、次の SQL 文にはアスタリスク (*) が含まれているため、データマップではリネージを表示できません。

INSERT INTO test SELECT * FROM test1, test2 WHERE test1.id = test2.id

サブクエリはサポートされていません。

たとえば、次の SQL 文にはサブクエリが含まれているため、データマップではリネージを表示できません。

SELECT column1, column2 FROM table1 WHERE column3 IN (SELECT column4 FROM table2 WHERE column5 = 'value')

リネージ表示をサポートする SQL コマンドの例:
- 例 1: A という名前のテーブルを作成し、テーブル B から特定の列 (`*` ではない) を選択してデータを入力します。例:
```
CREATE TABLE test AS SELECT id,name FROM test1;
```
- 例 2: 条件 `column1 = value1` を満たすテーブル A から特定の列 (`*` ではない) を選択して、テーブル B にデータを挿入します。例:
```
INSERT INTO test SELECT id,name FROM test1 WHERE name='test';
```
- 例 3: テーブル A の特定の列 (`*` ではない) のデータでテーブル B のデータを上書きします。例:
```
INSERT OVERWRITE INTO db_name.test SELECT id,name FROM test1;
```

CDH

データマップで CDH Spark SQL および CDH Spark ノードを使用するデータ変換プロセスのテーブルリネージを表示するには、[管理センター] > [クラスター管理] で関連するデータ変換モジュールの Spark パラメーターを構成します。

SettingCenter ページに移動します。
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[その他] > [管理センター] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターへ移動] をクリックします。
左側のナビゲーションウィンドウで [クラスター管理] をクリックし、ターゲットの CDH クラスターを見つけます。
[Spark パラメーターの編集] をクリックします。
データ変換モジュールに Spark パラメーターを追加します。
たとえば、[オペレーションセンター - 定期的なインスタンス] モジュールで CDH Spark SQL および CDH Spark ノードのデータ変換プロセスのテーブルリネージを表示するには、対応するモジュールに次のパラメーターを追加します:
- Spark プロパティ名: spark.sql.queryExecutionListeners
- Spark プロパティ値: com.aliyun.dataworks.meta.lineage.LineageListener
[確認] をクリックして構成を完了します。

Lindorm

説明

リネージ情報はインスタンスモードでのみ収集できます。接続文字列モードでは収集できません。

データマップで Lindorm Spark および Lindorm Spark SQL ノードを使用するデータ変換プロセスのテーブルリネージを表示するには、[管理センター] > [計算リソース] で関連するデータ変換モジュールの Spark パラメーターを構成します。

SettingCenter ページに移動します。
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[その他] > [管理センター] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターへ移動] をクリックします。
左側のナビゲーションウィンドウで [計算リソース] をクリックし、Lindorm 計算リソースを見つけます。
[Spark パラメーターの編集] をクリックします。
データ変換モジュールに Spark パラメーターを追加します。
たとえば、[オペレーションセンター - 定期的なインスタンス] モジュールで Lindorm Spark および Lindorm Spark SQL ノードのデータ変換プロセスのテーブルリネージを表示するには、対応するモジュールに次のパラメーターを追加します:
- Spark プロパティ名: spark.sql.queryExecutionListeners。
- Spark プロパティ値: com.aliyun.dataworks.meta.lineage.LineageListener。
[確認] をクリックして Spark パラメーターの構成を完了します。

異なるデータソースのリネージ表示

データソース

データ統合

データ開発

テーブルレベルリネージ

フィールドレベルリネージ

テーブルレベルリネージ

フィールドレベルリネージ

AnalyticDB for MySQL

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

AnalyticDB for PostgreSQL

プロダクトページ

プロダクトページ - リネージ

オフライン同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

ClickHouse

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

CDH/CDP

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

Hive, Impala, Spark, Spark SQL

insert into /insert overwrite table

create as select from table

create external table

Hive, Impala, Spark, Spark SQL

insert into /insert overwrite table

create as select from table

create external table

E-MapReduce

プロダクトページ

プロダクトページ - リネージ

バッチ同期

(OSS, Hive)

リアルタイム同期

バッチ同期

(OSS, Hive)

リアルタイム同期

Hive, Spark (spark-submit), Spark SQL (Hudi フォーマットをサポート), Shell (beeline を使用して送信された Hive SQL)

insert into /insert overwrite table

create as select from table

create external table

Hive, Spark (spark-submit), Spark SQL (Hudi フォーマットをサポート), Shell (beeline を使用して送信された Hive SQL)

insert into /insert overwrite table

create as select from table

create external table

Hologres

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期 (MySQL、Kafka、または Log Service から Hologres へのデータ同期)

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Kafka

プロダクトページ

プロダクトページ - リネージ

オフライン同期

リアルタイム同期

(Kafka から MaxCompute または Hologres へのデータ同期)

オフライン同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Lindorm

プロダクトページ

プロダクトページ - リネージ

オフライン同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create table

create table like

insert into /insert overwrite table

create as select from table

create table

create table like

MaxCompute

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期 (MySQL、Kafka、PolarDB for MySQL、または Log Service から MaxCompute へのデータ同期)

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

MySQL

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

(MySQL から MaxCompute または Hologres へのデータ同期)

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Oracle

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OceanBase

プロダクトページ

プロダクトページ - リネージ

オフライン同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OSS

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB for MySQL

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期 (PolarDB for MySQL から MaxCompute へのデータ同期)

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB for PostgreSQL

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PostgreSQL

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

StarRocks

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

オフライン同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

SQL Server

プロダクトページ

プロダクトページ - リネージ

バッチ同期

リアルタイム同期

オフライン同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Tablestore (OTS)

プロダクトページ

プロダクトページ - リネージ

オフライン同期

リアルタイム同期

バッチ同期

リアルタイム同期

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

DataService Studio API リネージ

DataService Studio API を見つけて詳細ページに移動します。[リネージ] タブをクリックして、API のリネージ詳細を表示します。