Node perbandingan data - DataWorks - Alibaba Cloud Documentation Center

DataWorks menyediakan node perbandingan data yang memungkinkan Anda membandingkan data antar tabel berbeda dengan berbagai metode. Node ini dapat digunakan dalam alur kerja. Topik ini menjelaskan cara menggunakan node perbandingan data untuk mengembangkan tugas.

Pengenalan node

Node perbandingan data tidak hanya digunakan untuk integrasi data, tetapi juga mendukung perbandingan antar tabel. Node ini mendukung cakupan perbandingan dan metrik perbandingan kustom, sehingga memungkinkan perbandingan data yang lebih komprehensif.

Batasan

Hanya kelompok sumber daya Serverless yang didukung. Untuk informasi selengkapnya tentang cara menambahkan dan menggunakan kelompok sumber daya Serverless, lihat Tambahkan dan gunakan kelompok sumber daya Serverless.

I. Buat node perbandingan data

1. Buka halaman Workspaces di konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan, lalu pilih Shortcuts > Data Studio pada kolom Actions.
Di panel navigasi kiri, klik ikon untuk membuka Data Development. Di sebelah kanan Project Directory, klik ikon , lalu pilih New Node > Data Quality > Data Comparison. Ikuti petunjuk untuk menentukan path dan nama node tersebut.

II. Konfigurasikan node perbandingan data

1. Konfigurasikan informasi tabel perbandingan

Node perbandingan data hanya memerlukan konfigurasi sederhana terhadap informasi tabel perbandingan untuk membandingkan data dari sumber data yang berbeda. Detail konfigurasinya adalah sebagai berikut:

Parameter	Deskripsi
Resource Group	Pilih kelompok sumber daya yang sudah ada dari daftar drop-down.
Task Resource Usage	Jumlah unit komputasi (CUs) yang dialokasikan untuk menjalankan node perbandingan data. Anda dapat mengonfigurasi parameter ini sesuai kebutuhan.
Data Source Type	Pilih jenis sumber data tempat tabel sumber dan tabel tujuan masing-masing berada.
Data Source Name	Pilih sumber data tempat tabel sumber dan tabel tujuan masing-masing berada.
Connectivity	Setelah menyelesaikan konfigurasi, klik Test untuk memverifikasi konektivitas antara sumber data dan kelompok sumber daya.
Table Name	Pilih tabel sumber dan tabel tujuan yang akan dibandingkan dari daftar drop-down. Catatan Untuk sumber data MaxCompute, Anda dapat memilih skema.
WHERE Condition	Masukkan kondisi WHERE untuk memfilter data di tabel sumber dan tabel tujuan. Catatan Anda tidak perlu memasukkan kata kunci `WHERE` saat melakukan konfigurasi. Saat membandingkan tabel partisi, kami menyarankan agar Anda menentukan partisi sebelum eksekusi. Jika tidak, kesalahan berikut akan terjadi: `Semantic analysis exception - physical plan generation failed: Table(<MaxCompute project name>,<table name>) is full scan with all partitions, please specify partition predicates`.
Shard Key	Menentukan kolom di tabel sumber sebagai kunci shard. Kami menyarankan agar Anda menggunakan primary key atau kolom yang diindeks sebagai kunci shard.

2. Konfigurasikan aturan perbandingan

Anda dapat mengonfigurasi aturan untuk Metric-based Comparison atau Full-text Comparison guna membandingkan data sumber dan data tujuan.

Metric-based comparison

Table-level Comparison:

Table Row Comparison: Perbandingan berbasis metrik mendukung pemeriksaan tingkat tabel, seperti membandingkan jumlah baris dua tabel. Perbandingan berhasil jika selisihnya berada dalam ambang kesalahan yang ditentukan.

Catatan
Ambang kesalahan dapat diatur sebagai Percentage, Absolute Value, atau Consistent or Not.

Field-level Comparison:

Secara default, bidang dengan nama yang sama akan dibandingkan. Jika nama bidang di tabel sumber dan tabel tujuan berbeda, klik Add Field for Comparison untuk memetakan secara manual bidang sumber ke bidang tujuan.

Source Field: Pilih bidang dari tabel sumber untuk dibandingkan.
Target Field: Pilih bidang dari tabel tujuan untuk dibandingkan.
Comparison Metric: Anda dapat membandingkan bidang menggunakan fungsi agregat umum, termasuk MAX, AVG, MIN, dan SUM.
- Anda dapat mengonfigurasi beberapa metrik perbandingan untuk sepasang bidang tabel sumber dan tujuan.
- Anda dapat mengatur parameter Ambang Kesalahan dan Objek yang Diabaikan ke nilai yang berbeda untuk metrik perbandingan yang berbeda.
Error Threshold: Perbandingan berhasil jika selisih aktual kurang dari ambang kesalahan yang dikonfigurasi. Anda dapat mengatur ambang batas sebagai Percentage, Absolute Value, atau Consistent or Not.
Catatan
- Error Threshold Absolute Value = |Source Table Metric Value - Destination Table Metric Value|
- Error Threshold of Error Threshold = (|Source metric value - Destination metric value|) / Source metric value × 100%

Ignore: Opsi pengabaian yang didukung bervariasi berdasarkan tipe data bidang yang dibandingkan.

Field type for comparison	Supported ignore options
Integer type fields (such as `INT`, `BIGINT`, etc.)	Anda dapat mengabaikan Difference Between Null Value and Value 0.
String type fields (such as `STRING`, `VARCHAR`, `TEXT`, etc.)	Anda dapat mengabaikan Difference Between Null Value and Empty String.
Numeric type fields (including integer and floating-point types)	Atur Floating Precision untuk perbandingan. Anda dapat mengabaikan Difference Between Null Value and Value 0. Anda dapat Ignore trailing zeros in the decimal part..
Integer and string type comparison	Anda dapat Ignore trailing zeros in the decimal part..
Integer and floating-point type comparison	Anda dapat Ignore trailing zeros in the decimal part.. Anda dapat mengabaikan Difference Between Null Value and Value 0.
Floating-point and string type comparison	Anda dapat Ignore trailing zeros in the decimal part.

Operation: Anda dapat menghapus bidang perbandingan yang tidak diperlukan.

Configure Custom Comparison Rules:

Anda dapat melakukan langkah-langkah berikut untuk menambahkan metrik perbandingan SQL kustom guna membandingkan data di tabel sumber dan tabel tujuan:
1. Klik Add Custom SQL Comparison Metric untuk menambahkan metrik yang ingin Anda bandingkan. Anda dapat mengganti nama metrik tersebut secara manual.
  
  Setelah menambahkan metrik, tabel akan menampilkan opsi untuk mengonfigurasi Error Threshold, menulis Custom SQL (dengan mengklik Configure), serta menghapus metrik menggunakan opsi Delete.
2. Atur Error Threshold sesuai kebutuhan. Anda dapat mengatur ambang batas sebagai Percentage, Absolute Value, atau Consistent or Not.
3. Setelah mengonfigurasi ambang kesalahan, klik Custom SQL di kolom Custom SQL untuk menulis kueri SQL untuk tabel sumber dan tabel tujuan guna menentukan cara menghitung metrik tersebut.
4. Setelah menyelesaikan konfigurasi, klik OK.

Full-text comparison

Saat Anda mengatur metode perbandingan ke teks lengkap, Anda dapat menyesuaikan Full-text Comparison Type untuk mencapai efek perbandingan yang berbeda.
- Source Data Contained in Destination: Perbandingan berhasil jika setiap baris di tabel sumber juga ada di tabel tujuan. Dalam hal ini, tabel tujuan mungkin berisi lebih banyak baris daripada tabel sumber.
- Comparison by Row: Membandingkan tabel sumber dan tabel tujuan baris demi baris untuk mengidentifikasi perbedaan dalam konten dan jumlah baris.
  
  Saat mengonfigurasi perbandingan baris demi baris, Anda harus mengatur Error Threshold. Anda dapat mengatur ambang batas sebagai Percentage, Absolute Value, atau Consistent or Not.
  Catatan
  - Error Threshold Absolute Value = |Source Table Metric Value - Destination Table Metric Value|
  - Error Threshold of Error Threshold = (|Source metric value - Destination metric value|) / Source metric value × 100%

Setelah mengonfigurasi Full-text Comparison Type, Anda dapat memilih bidang yang akan dibandingkan. Secara default, bidang dengan nama yang sama akan dibandingkan. Untuk membandingkan bidang dengan nama berbeda, Anda harus mengklik Add Comparison Field secara manual dan memilih bidang sumber serta bidang tujuan.

Source Field: Pilih bidang tabel sumber untuk dibandingkan.
Target Field: Pilih bidang tabel tujuan untuk dibandingkan.
Compare Primary Keys: Untuk perbandingan teks lengkap, Anda harus menentukan primary key untuk mencocokkan baris sebelum membandingkan kontennya.

Ignore: Opsi pengabaian yang didukung bervariasi berdasarkan tipe data bidang yang dibandingkan.

Field type for comparison	Supported ignore options
Integer type fields (such as `INT`, `BIGINT`, etc.)	Anda dapat mengabaikan Difference Between Null Value and Value 0.
String type fields (such as `STRING`, `VARCHAR`, `TEXT`, etc.)	Anda dapat mengabaikan Difference Between Null Value and Empty String.
Numeric type fields (including integer and floating-point types)	Atur Floating Precision untuk perbandingan. Anda dapat mengabaikan Difference Between Null Value and Value 0. Anda dapat Ignore trailing zeros in the decimal part..
Integer and string type comparison	Anda dapat Ignore trailing zeros in the decimal part..
Integer and floating-point type comparison	Anda dapat Ignore trailing zeros in the decimal part.. Anda dapat mengabaikan Difference Between Null Value and Value 0.
Floating-point and string type comparison	Anda dapat Ignore trailing zeros in the decimal part..

Operation: Klik Delete untuk menghapus bidang perbandingan yang tidak diperlukan.

Hasil perbandingan teks lengkap perlu disimpan agar Anda dapat melihat detail perbandingan data setelah perbandingan selesai. Anda dapat mengonfigurasi sumber data untuk menyimpan hasil perbandingan.
- Data Source Type: Hanya sumber data MaxCompute yang didukung.
- Data Source Name: Pilih sumber data MaxCompute yang terikat ke ruang kerja dari daftar drop-down.
- Connectivity: Pastikan sumber data MaxCompute yang dipilih dapat terhubung ke kelompok sumber daya yang telah Anda konfigurasikan untuk tabel perbandingan.
- Table for Storage: Klik Generate Storage Table untuk membuat tabel penyimpanan dengan nama dalam format data_comparison_xxxxxx.
- Tunnel Quota: Pilih sumber daya transmisi data MaxCompute dari daftar drop-down. Untuk informasi selengkapnya, lihat Beli dan gunakan grup sumber daya eksklusif untuk Integrasi Data.

3. Konfigurasi penjadwalan

Setelah mengonfigurasi aturan, klik Scheduling Settings di panel kanan untuk mengonfigurasi properti penjadwalan untuk node perbandingan data. Untuk informasi selengkapnya, lihat Konfigurasikan penjadwalan untuk sebuah node.

III. Penyebaran dan operasi

1. Sebarkan node perbandingan data

Setelah tugas pada node perbandingan data dikonfigurasi, Anda harus melakukan commit dan menyebarlan node tersebut. Setelah commit dan penyebaran, sistem akan menjalankan node tersebut secara berkala sesuai konfigurasi penjadwalan.

Klik ikon di bilah alat atas untuk menyimpan node.
Klik ikon di bilah alat atas untuk deploy node tersebut.

Untuk informasi selengkapnya tentang penyebaran node, lihat Sebarkan node atau alur kerja.

2. Operasikan node perbandingan data

Setelah node perbandingan data berhasil disebarlan, Anda dapat melakukan operasi pada node tersebut di Operation Center. Untuk informasi selengkapnya, lihat Operation Center.

3. Lihat laporan validasi data

Anda dapat melihat laporan validasi data di log eksekusi tugas melalui metode berikut:

Lihat di Operation Center:
1. Di pojok kiri atas halaman, klik ikon , lalu pilih All Products > Data Development and O&M > Operation and Maintenance Center (Workflow) untuk membuka Operation Center.
2. Di panel navigasi kiri Operation Center, pilih Auto Triggered Task O&M > Cycle Examples untuk melihat instans yang dihasilkan untuk node perbandingan data. Di kolom Operation, klik More, lalu pilih View Run Logs.
3. Di halaman log, klik tab Data Comparison untuk melihat laporan.

Lihat di tab Log:

Jika Anda menjalankan node perbandingan data di halaman Data Development, klik tautan di log untuk membuka laporan validasi data.

Run successfully
Click url below to view more details: https://dqc-cn-shanghai.data.aliyun.com/?defaultProjectId=814397&instanceId=1748247966625d1dfc93063c04f38a6549986
2196c455#/job/consistency-result-check/detail
2025-05-26 16:27:14 INFO ========================================================================
2025-05-26 16:27:14 INFO Exit code of the Shell command 0
2025-05-26 16:27:14 INFO --- Invocation of Shell command completed ---
2025-05-26 16:27:14 INFO Shell run successfully!
2025-05-26 16:27:14 INFO Current task status: FINISH
2025-05-26 16:27:14 INFO Cost time is: 70.195s
/home/admin/alisatasknode/taskinfo//20250526/executor/16/25/45/scn55otppszv9757kmhjsjbw/T3_6915242209.log-END-EOF