Lihat informasi lineage - DataWorks - Alibaba Cloud Documentation Center

DataWorks Data Map menyediakan informasi lineage terperinci untuk tabel dan API DataService Studio pada halaman detail masing-masing, membantu Anda melacak asal-usul data dan mengelola dependensi. Konsol mengkategorikan komputasi dan metadata berdasarkan jenisnya, seperti EMR Hive, Data Lake Formation (DLF), dan Data Lake Formation (DLF-Legacy). Halaman ini menjelaskan cara melihat lineage untuk setiap jenis tersebut.

Table Lineage

Titik masuk penampilan

Di Data Map, temukan sebuah tabel dan buka halaman detailnya. Klik tab Lineage Information untuk melihat detail lineage tingkat tabel dan tingkat field. Anda juga dapat melakukan analisis dampak untuk mendapatkan daftar tabel downstream, mengunduh daftar tersebut sebagai file lokal, atau mengirim notifikasi perubahan melalui email.

Catatan

Data Map menampilkan lineage yang diurai dari pekerjaan penjadwalan dan informasi penerusan data. Lineage dari operasi manual, seperti kueri temporary, tidak disertakan. Lineage data offline diperbarui dengan basis T+1.

Untuk melihat lineage kompleks multi-level dalam area yang lebih luas, klik tombol Open in New Page (ikon layar penuh) di bilah alat kanan atas graf lineage. Ini akan membuka lineage di halaman terpisah. Tombol ini tersedia pada tab lineage untuk tabel, dataset, API DataService Studio, dan aset AI.

Catatan

Jika fitur data lineage belum diaktifkan untuk ruang kerja atau penyewa Anda, halaman langganan akan muncul saat Anda membuka tab lineage. Ikuti petunjuk di layar untuk membeli atau mengaktifkan fitur tersebut.

Batasan untuk setiap sumber data

EMR Hive, DLF, dan DLF-Legacy

EMR Hive: Untuk mengelola metadata kluster EMR di DataWorks, Anda harus terlebih dahulu mengonfigurasi EMR-HOOK pada kluster tersebut. Jika EMR-HOOK tidak dikonfigurasi, lineage tidak dapat ditampilkan di DataWorks. Untuk informasi selengkapnya, lihat Configure EMR-HOOK for Hive.
DLF dan DLF-Legacy: Untuk tabel di Data Lake Formation (DLF) dan Data Lake Formation (DLF-Legacy), lineage ditampilkan di Data Map setelah metadata dikumpulkan. Ini didukung ketika pekerjaan komputasi menggunakan metadata DLF dengan mesin Serverless Spark, Serverless StarRocks, atau Serverless Flink. Untuk mesin atau skenario lainnya, tampilan lineage bergantung pada kemampuan akuisisi dan penguraian metadata. Untuk informasi selengkapnya, lihat Metadata acquisition.
Penting
Mesin Serverless Spark, Serverless StarRocks, dan Serverless Flink harus dikaitkan dengan ruang kerja DataWorks. Jika tidak, lineage terkait dianggap tidak relevan dengan DataWorks dan diabaikan.
Untuk kluster komputasi EMR Hive: Penampilan lineage tidak didukung untuk kluster EMR on ACK Spark, tetapi didukung untuk kluster EMR Serverless Spark.
Untuk kluster komputasi EMR Hive: Lineage tidak tersedia untuk tugas yang dijalankan pada node EMR Presto.
Mesin EMR Impala: Akuisisi lineage untuk pekerjaan EMR Impala bergantung pada log lineage Impala itu sendiri. Di konsol kluster EMR, buka Cluster Services > Impala > Configuration. Atur parameter lineage_event_log_dir menjadi /mnt/disk1/log/impala/lineage_log dan restart layanan Impala. Setelah langkah-langkah ini dilakukan, DataWorks Data Map dapat menampilkan lineage tingkat tabel dan tingkat field untuk pekerjaan EMR Impala.
Catatan
- Hanya pekerjaan Impala pada kluster EMR DataLake yang didukung. Metadata HMS (sesuai dengan jenis sumber data EMR Hive) dan DLF (sesuai dengan jenis sumber data DLF) didukung.
- Tidak ada persyaratan khusus terhadap versi kluster EMR atau versi Impala. Impala hanya perlu dideploy pada kluster.
- Fitur ini saat ini sedang dalam rilis terbatas (gray release). Sebelum menggunakannya, ajukan tiket atau hubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya.

AnalyticDB for MySQL

Catatan

Jalankan pernyataan SQL set adb_config RC_LINEAGE_INFO_LOG_ENABLE=true pada mesin yang sesuai untuk mengaktifkan fitur data lineage untuk instans AnalyticDB for MySQL.
Ketika sumber metadata bertipe AnalyticDB for Spark, pengumpulan otomatis didukung.
Ketika sumber metadata bertipe AnalyticDB for Spark, Anda dapat mengaktifkan lineage real-time dengan mengonfigurasi parameter Spark spark.sql.queryExecutionListeners = com.aliyun.dataworks.meta.lineage.LineageListener.

Untuk tabel bertipe AnalyticDB for MySQL, beberapa perintah pemrosesan SQL tidak mendukung pembuatan informasi lineage di Data Map. Batasan berikut berlaku.

Perintah SQL yang tidak mendukung tampilan lineage:

SQL yang Tidak Didukung

Contoh

join, union, atau penggunaan kata kunci seperti * tidak didukung.

Misalnya, SQL berikut menggunakan *, sehingga Data Map tidak dapat menampilkan lineage-nya.

INSERT INTO test SELECT * FROM test1, test2 WHERE test1.id = test2.id

Subkueri tidak didukung.

Misalnya, SQL berikut berisi subkueri, sehingga Data Map tidak dapat menampilkan lineage-nya.

SELECT column1, column2 FROM table1 WHERE column3 IN (SELECT column4 FROM table2 WHERE column5 = 'value')

Contoh perintah SQL yang mendukung tampilan lineage:
- Contoh 1: Buat tabel bernama A (tanpa menentukan kolom) dan pilih kolom tertentu (tidak termasuk *) dari tabel B sebagai isi tabel A. Misalnya:
```
CREATE TABLE test AS SELECT id,name FROM test1;
```
- Contoh 2: Masukkan kolom tertentu (tidak termasuk *) dari tabel A yang memenuhi kondisi column1 = value1 ke dalam tabel B (tanpa menentukan kolom). Misalnya:
```
INSERT INTO test SELECT id,name FROM test1 WHERE name='test';
```
- Contoh 3: Timpa kolom tertentu (tidak termasuk *) dari tabel A ke dalam tabel B di database. Misalnya:
```
INSERT OVERWRITE INTO db_name.test SELECT id,name FROM test1;
```

CDH

Untuk menampilkan lineage tabel untuk CDH Spark SQL dan pemrosesan data node CDH Spark di Data Map, konfigurasikan parameter Spark untuk setiap modul pemrosesan data di Management Center > Cluster Management.

Login ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Management Center.
Di panel navigasi sebelah kiri, klik Cluster Management, lalu temukan kluster CDH target yang telah Anda buat.
Klik Edit Spark Parameters.
Tambahkan parameter Spark berdasarkan modul pemrosesan data tertentu.
Misalnya, untuk menampilkan lineage tabel untuk pemrosesan data oleh node CDH Spark SQL dan CDH Spark di modul Operation Center - Scheduled Instances di Data Map, tambahkan parameter berikut di modul yang sesuai:
- Spark Property Name: spark.sql.queryExecutionListeners.
- Spark Property Value: com.aliyun.dataworks.meta.lineage.LineageListener.
Klik Confirm untuk menyelesaikan pengeditan.

Lindorm

Catatan

Pengumpulan informasi lineage hanya didukung dalam mode instans. Mode connection string tidak mendukung pengumpulan informasi lineage.

Untuk menampilkan lineage tabel untuk pemrosesan data node Lindorm Spark dan Lindorm Spark SQL di Data Map, konfigurasikan parameter Spark untuk setiap modul pemrosesan data di Management Center > Computing Resources.

Login ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Management Center.
Di panel navigasi sebelah kiri, klik Computing Resources, lalu temukan sumber daya komputasi Lindorm yang telah Anda buat.
Klik Edit Spark Parameters.
Tambahkan parameter Spark berdasarkan modul pemrosesan data tertentu.
Misalnya, untuk menampilkan lineage tabel untuk pemrosesan data oleh node Lindorm Spark dan Lindorm Spark SQL di modul Operation Center - Scheduled Instances di Data Map, tambahkan parameter berikut di modul yang sesuai:
- Spark Property Name: spark.sql.queryExecutionListeners.
- Spark Property Value: com.aliyun.dataworks.meta.lineage.LineageListener.
Klik Confirm untuk menyelesaikan konfigurasi parameter Spark.

Dukungan lineage untuk setiap sumber data

Catatan

Kategori E-MapReduce asli di Data Map telah dibagi menjadi EMR Hive, DLF, dan DLF-Legacy berdasarkan sumber metadata. Tabel berikut mencantumkan dukungan lineage berdasarkan kategori sumber data sebagaimana ditampilkan di konsol saat ini.

Sumber data

Data Integration

Data Studio

Lineage tingkat tabel

Lineage tingkat kolom

Lineage tingkat tabel

Lineage tingkat kolom

AnalyticDB MySQL

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

AnalyticDB PostgreSQL

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

ClickHouse

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

CDH/CDP

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

Hive, Impala, Spark, Spark SQL

insert into /insert overwrite table

create as select from table

create external table

Hive, Impala, Spark, Spark SQL

insert into /insert overwrite table

create as select from table

create external table

EMR Hive

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

(OSS, Hive)

Sinkronisasi real-time

Sinkronisasi batch

(OSS, Hive)

Sinkronisasi real-time

Mesin yang didukung: E-MapReduce, Serverless Spark, Serverless StarRocks, Serverless Flink, dan EMR Impala (hanya kluster EMR DataLake; saat ini dalam rilis terbatas; hubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya sebelum digunakan).

insert into /insert overwrite table

create as select from table

create external table

Mesin yang didukung: E-MapReduce, Serverless Spark, Serverless StarRocks, Serverless Flink, dan EMR Impala (hanya kluster EMR DataLake; saat ini dalam rilis terbatas; hubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya sebelum digunakan).

insert into /insert overwrite table

create as select from table

create external table

DLF-Legacy

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

(OSS, Hive)

Sinkronisasi real-time

Sinkronisasi batch

(OSS, Hive)

Sinkronisasi real-time

Mesin yang didukung: E-MapReduce, Serverless Spark, Serverless StarRocks, Serverless Flink, dan EMR Impala (hanya kluster EMR DataLake; saat ini dalam rilis terbatas; hubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya sebelum digunakan).

insert into /insert overwrite table

create as select from table

create external table

Mesin yang didukung: E-MapReduce, Serverless Spark, Serverless StarRocks, Serverless Flink, dan EMR Impala (hanya kluster EMR DataLake; saat ini dalam rilis terbatas; hubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya sebelum digunakan).

insert into /insert overwrite table

create as select from table

create external table

DLF

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

(OSS, Hive)

Sinkronisasi real-time

Sinkronisasi batch

(OSS, Hive)

Sinkronisasi real-time

Mesin yang didukung: Serverless Spark, Serverless StarRocks, Serverless Flink, dan EMR Impala (hanya kluster EMR DataLake; saat ini dalam rilis terbatas; hubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya sebelum digunakan).

insert into /insert overwrite table

create as select from table

create external table

Mesin yang didukung: Serverless Spark, Serverless StarRocks, Serverless Flink, dan EMR Impala (hanya kluster EMR DataLake; saat ini dalam rilis terbatas; hubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya sebelum digunakan).

insert into /insert overwrite table

create as select from table

create external table

Hologres

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time (MySQL/Kafka/LogHub disinkronkan ke Hologres)

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Kafka

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

(Kafka disinkronkan ke MaxCompute/Hologres)

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Lindorm

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create table

create table like

insert into /insert overwrite table

create as select from table

create table

create table like

MaxCompute

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time (MySQL/Kafka/PolarDB MySQL/LogHub disinkronkan ke MaxCompute)

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

MySQL

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

(MySQL disinkronkan ke MaxCompute/Hologres)

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Oracle

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OceanBase

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OSS

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB MySQL

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time (PolarDB MySQL disinkronkan ke MaxCompute)

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB PostgreSQL

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PostgreSQL

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

StarRocks

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

SelectDB

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

SQL Server

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Tablestore (OTS)

Halaman detail

Halaman detail - Lineage information

Sinkronisasi batch

Sinkronisasi real-time

Sinkronisasi batch

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Lineage API DataService Studio

Temukan API DataService Studio di Data Map dan buka halaman detailnya. Klik tab Lineage Information untuk melihat detail lineage API tersebut.

Lineage aset AI

Lineage aset AI melacak dataset masukan, set hasil keluaran, dan hubungan antar model yang digunakan dalam pelatihan model. Untuk informasi selengkapnya, lihat AI asset lineage.