Lihat informasi alur data - DataWorks - Alibaba Cloud Documentation Center

Di Data Map DataWorks, Anda dapat melihat informasi alur data terperinci untuk tabel dan API DataService Studio pada halaman detail masing-masing. Informasi ini berguna untuk pelacakan dan manajemen data. Konsol mengkategorikan komputasi dan metadata berdasarkan jenisnya, seperti EMR Hive, Data Lake Formation (DLF), dan Data Lake Formation (DLF-Legacy). Topik ini menggunakan kategorisasi yang sama dengan Data Map dan Data Studio untuk menjelaskan cara melihat alur data untuk setiap jenis.

Table Lineage

Titik masuk tampilan

Di Data Map, temukan tabel dan buka halaman detailnya. Lalu, klik tab Lineage Information untuk melihat detail alur data tingkat tabel dan tingkat bidang. Anda juga dapat melakukan analisis dampak untuk mendapatkan daftar tabel turunan dari tabel tersebut. Daftar ini dapat diunduh sebagai file lokal atau dikirimkan melalui email sebagai notifikasi perubahan.

Catatan

Data Map menampilkan alur data antar tabel dan bidang yang diurai dari pekerjaan penjadwalan dan informasi penerusan data. Alur data dari operasi manual, seperti kueri sementara, tidak disertakan. Alur data untuk data offline diperbarui dengan basis T+1.

Untuk melihat alur data kompleks bersusun banyak dalam area yang lebih luas, klik tombol Open in new page (ikon layar penuh) di bilah alat di pojok kanan atas graf alur data. Hal ini memungkinkan Anda menjelajahi alur data di halaman terpisah. Tombol ini tersedia di tab alur data untuk tabel, set data, API DataService Studio, dan aset AI.

Catatan

Jika fitur alur data belum diaktifkan untuk ruang kerja atau penyewa Anda, halaman langganan akan muncul saat Anda membuka tab alur data. Ikuti petunjuk di layar untuk membeli atau mengaktifkan fitur tersebut.

Batasan untuk setiap sumber data

EMR Hive, DLF, dan DLF-Legacy

EMR Hive: Untuk mengelola metadata kluster EMR di DataWorks, Anda harus terlebih dahulu mengonfigurasi EMR-HOOK pada kluster tersebut. Jika EMR-HOOK tidak dikonfigurasi, alur data tidak dapat ditampilkan di DataWorks. Untuk informasi selengkapnya, lihat Konfigurasi EMR-HOOK untuk Hive.
DLF dan DLF-Legacy: Untuk tabel di Data Lake Formation (DLF) dan Data Lake Formation (DLF-Legacy), alur data dapat ditampilkan di Data Map setelah metadata dikumpulkan. Ini didukung ketika pekerjaan komputasi menggunakan metadata DLF yang sesuai dengan mesin Serverless Spark, Serverless StarRocks, atau Serverless Flink. Untuk mesin atau skenario lainnya, tampilan alur data bergantung pada kemampuan akuisisi dan penguraian metadata. Untuk informasi selengkapnya, lihat Akuisisi metadata.

Penting
Mesin Serverless Spark, Serverless StarRocks, dan Serverless Flink harus disambungkan ke ruang kerja DataWorks. Jika tidak, alur data yang sesuai dianggap tidak relevan dengan DataWorks dan diabaikan.
Untuk kluster komputasi EMR Hive: Penampilan alur data tidak didukung untuk kluster EMR on ACK Spark, tetapi didukung untuk kluster EMR Serverless Spark.
Untuk kluster komputasi EMR Hive: Alur data tidak tersedia untuk tugas yang dijalankan pada node EMR Presto.
Mesin EMR Impala: Akuisisi alur data untuk pekerjaan EMR Impala bergantung pada log alur data Impala itu sendiri. Di konsol kluster EMR, buka Layanan Kluster > Impala > Configuration. Atur parameter lineage_event_log_dir menjadi /mnt/disk1/log/impala/lineage_log dan restart layanan Impala. Setelah langkah-langkah ini dilakukan, Data Map DataWorks dapat menampilkan alur data tingkat tabel dan tingkat bidang untuk pekerjaan EMR Impala.
Catatan
- Hanya pekerjaan Impala pada kluster EMR DataLake yang didukung. Metadata Hive Metastore (HMS) (sesuai dengan jenis sumber data EMR Hive) dan DLF (sesuai dengan jenis sumber data DLF) didukung.
- Tidak ada persyaratan khusus untuk versi kluster EMR atau versi Impala, selama Impala telah dideploy pada kluster tersebut.
- Fitur ini saat ini sedang dalam rilis bertahap. Untuk menggunakannya, Anda harus mengajukan tiket atau menghubungi dukungan teknis Alibaba Cloud agar fitur ini diaktifkan.

AnalyticDB for MySQL

Catatan

Jalankan perintah SQL set adb_config RC_LINEAGE_INFO_LOG_ENABLE=true pada engine untuk mengaktifkan fitur alur data untuk instans AnalyticDB for MySQL.
Jika sumber metadata adalah AnalyticDB for Spark, akuisisi otomatis didukung.
Jika sumber metadata adalah AnalyticDB for Spark, Anda harus mengonfigurasi parameter Spark spark.sql.queryExecutionListeners = com.aliyun.dataworks.meta.lineage.LineageListener untuk mendukung alur data real-time.

Untuk tabel AnalyticDB for MySQL, beberapa perintah SQL tidak mendukung pembuatan alur data di Data Map. Berikut batasan-batasannya.

Perintah SQL yang tidak didukung:

SQL yang Tidak Didukung

Contoh

JOIN, UNION, dan kata kunci seperti * tidak didukung.

Misalnya, perintah SQL berikut menggunakan *. Data Map tidak dapat menampilkan alur datanya.

INSERT INTO test SELECT * FROM test1, test2 WHERE test1.id = test2.id

Subkueri tidak didukung.

Misalnya, perintah SQL berikut berisi subkueri. Data Map tidak dapat menampilkan alur datanya.

SELECT column1, column2 FROM table1 WHERE column3 IN (SELECT column4 FROM table2 WHERE column5 = 'value')

Contoh perintah SQL yang mendukung alur data:
- Contoh 1: Buat tabel bernama A tanpa menentukan informasi kolom dan pilih kolom tertentu (tidak termasuk *) dari tabel B untuk mengisi tabel A. Misalnya:
```
CREATE TABLE test AS SELECT id,name FROM test1;
```
- Contoh 2: Masukkan data dari kolom tertentu (tidak termasuk *) tabel A yang memenuhi kondisi `column1 = value1` ke tabel B tanpa menentukan informasi kolom. Misalnya:
```
INSERT INTO test SELECT id,name FROM test1 WHERE name='test';
```
- Contoh 3: Timpa tabel B di database dengan data dari kolom tertentu (tidak termasuk *) tabel A. Misalnya:
```
INSERT OVERWRITE INTO db_name.test SELECT id,name FROM test1;
```

CDH

Untuk menampilkan lineage tabel untuk proses transformasi data node CDH Spark SQL dan CDH Spark di Data Map, Anda harus mengonfigurasi parameter Spark untuk modul transformasi data tertentu di Management Center > Cluster Management.

Login ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Management Center.
Di panel navigasi sebelah kiri, klik Cluster Management, lalu temukan kluster CDH target yang telah Anda buat.
Klik Edit Spark Parameters.
Tambahkan parameter Spark berdasarkan modul transformasi data tertentu.

Misalnya, untuk menampilkan lineage tabel untuk proses transformasi data node CDH Spark SQL dan CDH Spark di modul Operation Center - Recurring Instances di Data Map, tambahkan parameter berikut untuk modul tersebut:
- Spark Property Name: spark.sql.queryExecutionListeners.
- Spark Property Value: com.aliyun.dataworks.meta.lineage.LineageListener.
Klik Confirm untuk menyelesaikan pengeditan.

Lindorm

Catatan

Informasi alur data hanya dapat dikumpulkan dalam mode instans. Informasi ini tidak dapat dikumpulkan dalam mode string koneksi.

Untuk menampilkan lineage tabel untuk proses transformasi data node Lindorm Spark dan Lindorm Spark SQL di Data Map, Anda harus mengonfigurasi parameter Spark untuk modul transformasi data tertentu di Management Center > Computing Resources.

Login ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Management Center.
Di panel navigasi sebelah kiri, klik Computing Resources, lalu temukan sumber daya komputasi Lindorm yang telah Anda buat.
Klik Edit Spark Parameters.
Tambahkan parameter Spark berdasarkan modul transformasi data tertentu.

Misalnya, untuk menampilkan lineage tabel untuk proses transformasi data node Lindorm Spark dan Lindorm Spark SQL di modul Operation Center - Recurring Instances di Data Map, tambahkan parameter berikut untuk modul tersebut:
- Spark Property Name: spark.sql.queryExecutionListeners.
- Spark Property Value: com.aliyun.dataworks.meta.lineage.LineageListener.
Klik Confirm untuk menyimpan konfigurasi parameter Spark.

Ringkasan dukungan alur data berdasarkan sumber data

Catatan

Sumber data E-MapReduce asli telah dibagi menjadi EMR Hive, DLF, dan DLF-Legacy di Data Map berdasarkan sumber metadata. Tabel berikut mencantumkan dukungan alur data untuk setiap kategori sumber data sebagaimana ditampilkan di konsol saat ini.

Sumber data

Data Integration

Data Development

Alur data tingkat tabel

Alur data tingkat bidang

Alur data tingkat tabel

Alur data tingkat bidang

AnalyticDB for MySQL

Halaman produk

gambar Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

AnalyticDB for PostgreSQL

Halaman produk

Halaman produk - Alur data

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

ClickHouse

Halaman produk

Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

CDH/CDP

Halaman produk

gambar Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

Hive, Impala, Spark, Spark SQL

insert into /insert overwrite table

create as select from table

create external table

Hive, Impala, Spark, Spark SQL

insert into /insert overwrite table

create as select from table

create external table

EMR Hive

Halaman produk

gambar Halaman Produk – Lineage

Sinkronisasi offline

(OSS, Hive)

Sinkronisasi real-time

Sinkronisasi offline

(OSS, Hive)

Sinkronisasi real-time

Dukungan untuk mesin EMR, Serverless Spark, Serverless StarRocks, dan Serverless Flink, serta mesin EMR Impala (hanya untuk kluster EMR DataLake; fitur ini sedang dalam rilis bertahap dan memerlukan Anda menghubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya).

insert into /insert overwrite table

create as select from table

create external table

Dukungan untuk mesin EMR, Serverless Spark, Serverless StarRocks, dan Serverless Flink, serta mesin EMR Impala (hanya untuk kluster EMR DataLake; fitur ini sedang dalam rilis bertahap dan memerlukan Anda menghubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya).

insert into /insert overwrite table

create as select from table

create external table

DLF-Legacy

Halaman produk

Halaman Produk – Lineage

Sinkronisasi offline

(OSS, Hive)

Sinkronisasi real-time

Sinkronisasi offline

(OSS, Hive)

Sinkronisasi real-time

Dukungan untuk mesin EMR, Serverless Spark, Serverless StarRocks, dan Serverless Flink, serta mesin EMR Impala (hanya untuk kluster EMR DataLake; fitur ini sedang dalam rilis bertahap dan memerlukan Anda menghubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya).

insert into /insert overwrite table

create as select from table

create external table

Dukungan untuk mesin EMR, Serverless Spark, Serverless StarRocks, dan Serverless Flink, serta mesin EMR Impala (hanya untuk kluster EMR DataLake; fitur ini sedang dalam rilis bertahap dan memerlukan Anda menghubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya).

insert into /insert overwrite table

create as select from table

create external table

DLF

Halaman produk

Halaman produk - Alur data

Sinkronisasi offline

(OSS, Hive)

Sinkronisasi real-time

Sinkronisasi offline

(OSS, Hive)

Sinkronisasi real-time

Dukungan untuk mesin Serverless Spark, Serverless StarRocks, dan Serverless Flink, serta mesin EMR Impala (hanya untuk kluster EMR DataLake; fitur ini sedang dalam rilis bertahap dan memerlukan Anda menghubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya).

insert into /insert overwrite table

create as select from table

create external table

Dukungan untuk mesin Serverless Spark, Serverless StarRocks, dan Serverless Flink, serta mesin EMR Impala (hanya untuk kluster EMR DataLake; fitur ini sedang dalam rilis bertahap dan memerlukan Anda menghubungi dukungan teknis Alibaba Cloud untuk mengaktifkannya).

insert into /insert overwrite table

create as select from table

create external table

Hologres

Halaman produk

Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time (dari MySQL, Kafka, atau Log Service ke Hologres)

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Kafka

Halaman produk

Halaman produk - Alur data

Sinkronisasi offline

Sinkronisasi real-time

(dari Kafka ke MaxCompute atau Hologres)

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Lindorm

Halaman produk

Halaman Produk – Silsilah

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create table

create table like

insert into /insert overwrite table

create as select from table

create table

create table like

MaxCompute

Halaman produk

gambar Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time (dari MySQL, Kafka, PolarDB for MySQL, atau Log Service ke MaxCompute)

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

MySQL

Halaman produk

gambar Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time

(dari MySQL ke MaxCompute atau Hologres)

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Oracle

Halaman produk

Halaman produk - Alur data

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OceanBase

Halaman produk

Halaman produk - Alur data

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OSS

Halaman produk

Halaman produk - Alur data

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB for MySQL

Halaman produk

Halaman produk - Alur data

Sinkronisasi offline

Sinkronisasi real-time (dari PolarDB for MySQL ke MaxCompute)

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB for PostgreSQL

Halaman produk

gambar Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PostgreSQL

Halaman produk

Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

StarRocks

Halaman produk

gambar Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

SQL Server

Halaman produk

Halaman produk - Alur data

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Tablestore (OTS)

Halaman produk

gambar Halaman Produk – Lineage

Sinkronisasi offline

Sinkronisasi real-time

Sinkronisasi offline

Sinkronisasi real-time

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Alur data API DataService Studio

Temukan API DataService Studio dan buka halaman detailnya. Lalu, klik tab Lineage Information untuk melihat detail alur data API tersebut.

Silsilah aset AI

Layanan alur data aset AI memungkinkan Anda melacak alur data antara set data masukan, set hasil keluaran, dan model yang digunakan dalam pelatihan model. Untuk deskripsi lengkap mengenai alur data aset AI, lihat Lihat aset AI.