Cara menggunakan node perbandingan data - DataWorks - Alibaba Cloud Documentation Center

Node perbandingan data DataWorks memungkinkan Anda membandingkan data antar tabel dan dapat digunakan dalam alur kerja. Topik ini menjelaskan cara mengembangkan tugas dengan menggunakan node perbandingan data.

Pendahuluan

Node perbandingan data mendukung perbandingan antar tabel dan memungkinkan Anda menyesuaikan cakupan serta metrik perbandingan untuk berbagai skenario. Fitur ini tidak terbatas hanya untuk integrasi data.

Batasan

Fitur ini hanya mendukung kelompok sumber daya arsitektur tanpa server (serverless). Untuk informasi lebih lanjut tentang penggunaannya, lihat Resource group management.

Prosedur

Langkah 1: Buat node perbandingan data

Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Data Development.
Klik ikon lalu pilih Create Node > Data Quality > Data Comparison.

Ikuti petunjuk di layar untuk memasukkan path node, nama, dan informasi lainnya.

Langkah 2: Konfigurasikan node perbandingan data

Konfigurasi informasi tabel

Konfigurasikan informasi tabel untuk node perbandingan data agar dapat membandingkan data dari berbagai sumber data. Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Deskripsi
Resource Group	Pilih kelompok sumber daya yang sudah ada dari daftar drop-down.
Task Resource Usage	Sesuaikan jumlah sumber daya yang dikonsumsi oleh node perbandingan data saat dijalankan.
Data Source Type	Pilih jenis sumber data untuk tabel sumber dan tujuan yang akan dibandingkan.
Data Source Name	Pilih sumber data untuk tabel sumber dan tujuan yang akan dibandingkan.
Connection Status	Setelah konfigurasi selesai, klik Test untuk memeriksa konektivitas antara sumber data dan kelompok sumber daya.
Table Name	Pilih tabel sumber dan tujuan dari daftar drop-down.
WHERE Condition	Memfilter data dari tabel sumber dan tujuan untuk perbandingan.
Sharding Key	Konfigurasikan kunci shard untuk tabel sumber guna mempartisi data berdasarkan kolom tertentu. Gunakan primary key atau kolom yang diindeks sebagai kunci shard.

Konfigurasi aturan perbandingan

Anda dapat melakukan Metric-based Comparison atau Full-text Comparison untuk membandingkan data antara tabel sumber dan tujuan berdasarkan aturan yang berbeda.

Metric-based Comparison

Table Row Comparison:

Metric-based Comparison mendukung perbandingan tingkat tabel dengan memeriksa jumlah baris. Perbandingan berhasil jika selisihnya berada dalam ambang kesalahan yang ditentukan.

Catatan
Ambang kesalahan dapat berupa Percentage, Absolute Value, atau Consistent or Not.

Field-level Comparison:

Perbandingan tingkat bidang secara default mencocokkan bidang dengan nama yang sama. Jika nama bidang pada tabel sumber dan tujuan berbeda, klik Add Field for Comparison untuk memilih secara manual bidang sumber dan tujuan guna membuat pasangan perbandingan.

Source field: Pilih bidang dari tabel sumber untuk perbandingan.
Destination field: Pilih bidang dari tabel tujuan untuk perbandingan.
Comparison Metric: Termasuk metrik umum seperti MAX, AVG, MIN, dan SUM.
- Anda dapat mengonfigurasi beberapa metrik perbandingan untuk satu pasangan bidang sumber dan tujuan.
- Anda dapat menetapkan ambang kesalahan dan opsi ignore yang berbeda untuk setiap metrik perbandingan.
Error Threshold: Selisih yang dihitung antara tabel sumber dan tujuan dibandingkan dengan ambang ini. Perbandingan berhasil jika selisihnya kurang dari ambang tersebut. Anda dapat menetapkan ambang sebagai Percentage, Absolute Value, atau Consistent or Not.
Catatan
- Absolute value of error threshold = |Source table metric value - Destination table metric value|
- Percentage of error threshold = (|Source table metric value - Destination table metric value|) / Source table metric value × 100%

Ignore: Opsi ignore yang didukung bervariasi tergantung pada tipe data bidang yang dibandingkan.

Tipe bidang untuk perbandingan	Opsi ignore yang didukung
Bidang tipe integer (seperti `INT`, `BIGINT`, dll.)	Anda dapat mengabaikan Difference Between Null Value and Value 0.
Bidang tipe string (seperti `STRING`, `VARCHAR`, `TEXT`, dll.)	Anda dapat mengabaikan Difference Between Null Value and Empty String.
Bidang tipe numerik (termasuk tipe integer dan floating-point)	Tetapkan Floating Precision untuk perbandingan. Anda dapat mengabaikan Difference Between Null Value and Value 0. Anda dapat Ignore trailing zeros in the decimal part.
Perbandingan tipe integer dan string	Anda dapat Ignore trailing zeros in the decimal part..
Perbandingan tipe integer dan floating-point	Anda dapat Ignore trailing zeros in the decimal part.. Anda dapat mengabaikan Difference Between Null Value and Value 0.
Perbandingan tipe floating-point dan string	Anda dapat Ignore trailing zeros in the decimal part.

Operation: Anda dapat menghapus bidang yang redundan atau tidak diperlukan dari perbandingan bidang.

Configure Custom Comparison Rules:

Anda dapat menambahkan metrik perbandingan SQL kustom untuk membandingkan tabel sumber dan tujuan. Langkah-langkah berikut menjelaskan prosesnya:
1. Klik Add Custom SQL Comparison Metric untuk menambahkan metrik. Anda dapat mengganti nama metrik secara manual.
  
  Setelah menambahkan metrik, Anda dapat menetapkan ambang kesalahan (mendukung persentase dan nilai absolut), klik Configure untuk mengedit konten SQL kustom, atau klik Delete untuk menghapus metrik.
2. Sesuaikan Error Threshold sesuai kebutuhan. Opsi yang didukung adalah Percentage, Absolute Value, dan Consistent or Not.
3. Setelah mengonfigurasi ambang kesalahan, klik Configure di kolom Custom SQL untuk menulis SQL bagi tabel sumber dan tujuan guna menghitung metrik kustom.
4. Setelah konfigurasi selesai, klik OK.

Full-text Comparison

Full-text Comparison menyediakan metode berikut:
- Source Data Contained in Destination: Perbandingan berhasil jika tabel tujuan berisi semua baris dari tabel sumber. Tabel tujuan juga boleh berisi data tambahan.
- Comparison by Row: Membandingkan jumlah baris dan konten antara tabel sumber dan tujuan baris demi baris.
  
  Saat mengonfigurasi perbandingan baris demi baris, Anda harus menetapkan ambang kesalahan. Opsi yang didukung adalah Percentage, Absolute Value, dan Consistent or Not.
  Catatan
  - Absolute value of error threshold = |Source table metric value - Destination table metric value|
  - Percentage of error threshold = (|Source table metric value - Destination table metric value|) / Source table metric value × 100%

Setelah mengonfigurasi metode perbandingan teks lengkap, Anda dapat memilih bidang yang akan dibandingkan. Secara default, bidang dengan nama yang sama akan dibandingkan. Untuk membandingkan bidang dengan nama berbeda, klik Add Field for Comparison lalu pilih bidang sumber dan tujuan.

Source field: Pilih bidang dari tabel sumber untuk perbandingan.
Destination field: Pilih bidang dari tabel tujuan untuk perbandingan.
Full-text Comparison Based on Primary Keys: Perbandingan teks lengkap memerlukan primary key untuk mencocokkan baris sebelum membandingkan kontennya.

Ignore: Opsi ignore yang didukung bervariasi tergantung pada tipe data bidang yang dibandingkan.

Tipe bidang untuk perbandingan	Opsi ignore yang didukung
Bidang tipe integer (seperti `INT`, `BIGINT`, dll.)	Anda dapat mengabaikan Difference Between Null Value and Value 0.
Bidang tipe string (seperti `STRING`, `VARCHAR`, `TEXT`, dll.)	Anda dapat mengabaikan Difference Between Null Value and Empty String.
Bidang tipe numerik (termasuk tipe integer dan floating-point)	Tetapkan Floating Precision untuk perbandingan. Anda dapat mengabaikan Difference Between Null Value and Value 0. Anda dapat Ignore trailing zeros in the decimal part..
Perbandingan tipe integer dan string	Anda dapat Ignore trailing zeros in the decimal part..
Perbandingan tipe integer dan floating-point	Anda dapat Ignore trailing zeros in the decimal part.. Anda dapat mengabaikan Difference Between Null Value and Value 0.
Perbandingan tipe floating-point dan string	Anda dapat Ignore trailing zeros in the decimal part..

Operation: Anda dapat Delete bidang yang redundan atau tidak diperlukan dari perbandingan bidang.

Hasil Full-text Comparison harus disimpan dalam sumber data yang telah dikonfigurasi untuk ditinjau nanti.
- Data Source Type: Hanya sumber data MaxCompute yang didukung.
- Data Source Name: Pilih sumber data MaxCompute yang terikat pada ruang kerja dari daftar drop-down.
- Connection Status: Pastikan sumber data MaxCompute yang dipilih dapat terhubung ke kelompok sumber daya yang dikonfigurasi untuk perbandingan tabel.
- Table for Storage: Klik Generate Storage Table untuk membuat tabel bernama data_comparison_xxxxxx.
- Tunnel quota: Pilih sumber daya transmisi data MaxCompute. Untuk informasi lebih lanjut, lihat Purchase and use exclusive resource groups for Data Transmission Service.

Konfigurasi penjadwalan

Setelah mengonfigurasi aturan, Anda dapat mengatur properti penjadwalan untuk node perbandingan data. Untuk informasi lebih lanjut, lihat Configure scheduling properties for a node.

Langkah 3: Penerapan dan pengelolaan

Terapkan node

Setelah mengonfigurasi node, kirim dan terapkan node tersebut. Node yang telah diterapkan kemudian akan berjalan secara berkala berdasarkan konfigurasi penjadwalannya.

Di bilah alat, klik ikon untuk Save node.
Di bilah alat, klik ikon untuk Submit node.

Pada kotak dialog Submission, masukkan Change Description. Jika diperlukan, pilih apakah akan melakukan tinjauan kode dan pengujian asap setelah node dikirim.
Catatan
- Anda harus mengonfigurasi atribut Rerun attribute dan dependensi Parent Nodes sebelum dapat mengirim node.
- Tinjauan kode membantu memastikan kualitas kode dan mencegah tugas dengan kode yang cacat diterapkan ke lingkungan produksi. Jika tinjauan kode diaktifkan, kode node yang dikirim harus disetujui oleh peninjau sebelum dapat diterapkan. Untuk informasi lebih lanjut, lihat Code review.
- Untuk memastikan node terjadwal berjalan sesuai harapan, kami menyarankan Anda melakukan pengujian asap sebelum penerapan. Untuk informasi lebih lanjut, lihat Smoke testing.

Jika Anda menggunakan ruang kerja dalam mode standar, Anda juga harus mengklik Deploy di pojok kanan atas halaman pengeditan node setelah mengirim tugas. Tindakan ini menerbitkan tugas ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Deploy tasks.

Kelola node

Setelah node perbandingan data diterapkan, Anda dapat mengelola operasinya di Pusat Operasi. Untuk informasi lebih lanjut, lihat Operation Center.

Laporan validasi data

Anda dapat melihat laporan validasi data di log waktu proses tugas. Anda dapat mengakses laporan tersebut dengan cara berikut:

Lihat di Pusat Operasi:
1. Klik ikon lalu pilih All Products > Data Development and O&M > Operation and Maintenance Center (Workflow) untuk menuju Pusat Operasi.
2. Di panel navigasi sebelah kiri Pusat Operasi, buka Auto Triggered Task O&M > Auto Triggered Instances untuk melihat instans node. Di kolom Operation, klik More lalu pilih View Runtime Log.
3. Di halaman log, klik tab Data Comparison untuk melihat laporan.
Lihat dari log waktu proses:

Saat Anda menjalankan node perbandingan data dari halaman Data Development, tautan ke laporan validasi data akan muncul. Klik tautan tersebut untuk melihat laporan.
```
Click url below to view more details: xxx
```