Kualitas Data memungkinkan Anda mendeteksi perubahan dalam data sumber dan data kotor dari pekerjaan ETL. Fitur ini menghentikan tugas bermasalah, mencegah penyebaran data kotor ke hilir, serta menghindari hasil tak terduga yang dapat memengaruhi pengambilan keputusan bisnis. Selain itu, fitur ini mengurangi waktu dan biaya pemulihan masalah dengan mencegah tugas dijalankan ulang.
Penagihan
Biaya menjalankan aturan Kualitas Data mencakup dua komponen:
Biaya DataWorks
Ditagih berdasarkan sistem bayar sesuai penggunaan, bergantung pada jumlah instans aturan Kualitas Data. Untuk informasi lebih lanjut, lihat Penagihan instans Kualitas Data.
Biaya spesifik mesin
Pemeriksaan Kualitas Data menghasilkan Pernyataan SQL yang dijalankan pada mesin, sehingga menimbulkan biaya mesin. Untuk detailnya, lihat dokumentasi penagihan setiap mesin. Sebagai contoh, jika Anda menggunakan MaxCompute dalam mode bayar sesuai penggunaan, pemeriksaan Kualitas Data akan menghasilkan biaya mesin MaxCompute. Biaya ini ditagih oleh MaxCompute dan tidak termasuk dalam tagihan DataWorks Anda.
Fitur
Kualitas Data mendukung pemeriksaan kualitas pada mesin analitik data umum, seperti MaxCompute, E-MapReduce, Hologres, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, dan CDH.
Anda dapat mengonfigurasi aturan yang mencakup kelengkapan, akurasi, validitas, konsistensi, keunikan, dan ketepatan waktu. Aturan Kualitas Data ini dapat dikaitkan dengan node penjadwalan. Saat tugas selesai, pemeriksaan Kualitas Data dipicu secara otomatis. Anda dapat mengatur kekuatan aturan untuk mengontrol kapan tugas harus gagal atau keluar, sehingga mencegah penyebaran data kotor dan mengurangi waktu serta biaya pemulihan data.
Berikut adalah penjelasan fitur setiap modul Kualitas Data:
Nama | Deskripsi | |
Dasbor Kualitas menampilkan metrik gambaran utama untuk kualitas data di ruang kerja saat ini, tren dan distribusi status pemeriksaan kualitas data yang dipicu setelah instans berjalan, tabel teratas dan pemilik dengan masalah kualitas, serta cakupan aturan. Ini membantu manajer jaminan kualitas dengan cepat memahami kualitas data keseluruhan dari ruang kerja dan segera menangani masalah untuk meningkatkan kualitas data. | ||
Aset Kualitas | Menampilkan semua aturan kualitas yang telah dikonfigurasi. | |
Kualitas Data memungkinkan Anda membangun perpustakaan templat aturan kustom untuk mengelola aturan pemantauan kustom umum secara terpusat, meningkatkan efisiensi konfigurasi aturan. | ||
Konfigurasikan Aturan | Kualitas Data mendukung konfigurasi aturan pemantauan kualitas berdasarkan tabel atau berdasarkan templat. | |
Konfigurasikan aturan pemantauan untuk beberapa tabel berdasarkan templat | ||
O&M Kualitas | Menampilkan semua pemantau kualitas yang dibuat di ruang kerja ini. | |
Menampilkan hasil pemeriksaan kualitas data ketika tugas pemantauan kualitas berjalan. Setelah tugas pemantauan kualitas selesai, Anda dapat melihat detailnya di halaman Riwayat Jalankan. | ||
Analisis Kualitas | Kualitas Data memungkinkan pengguna membuat templat laporan dan bebas menambahkan berbagai metrik untuk konfigurasi aturan dan jalannya aturan. Laporan dihasilkan dan dikirim secara berkala berdasarkan periode statistik, waktu pengiriman, dan informasi langganan yang telah dikonfigurasi. | |
Catatan Penggunaan
Wilayah yang didukung untuk setiap mesin adalah sebagai berikut:
Mesin
Wilayah yang Didukung
E-MapReduce
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), dan AS (Silicon Valley).
Hologres
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).
AnalyticDB for PostgreSQL
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), dan Jepang (Tokyo).
AnalyticDB for MySQL
Tiongkok (Shenzhen), Singapura, dan AS (Silicon Valley).
CDH
Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Hong Kong), dan Jerman (Frankfurt).
Sebelum mengonfigurasi aturan Kualitas Data untuk E-MapReduce, Hologres, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, dan CDH, Anda harus mengumpulkan metadata terlebih dahulu. Untuk informasi lebih lanjut, lihat Kumpulkan metadata dari sumber data EMR.
Setelah mengonfigurasi aturan Kualitas Data untuk tabel di E-MapReduce, Hologres, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, dan CDH, jalankan node penjadwalan yang menghasilkan data tabel pada grup sumber daya dengan koneksi jaringan yang telah ditetapkan untuk memicu pemeriksaan aturan Kualitas Data dengan benar.
Beberapa aturan Kualitas Data dapat dikonfigurasi untuk satu tabel.
Skenario
Dalam skenario pemeriksaan data offline, Kualitas Data menggunakan ekspresi partisi yang dikonfigurasi untuk tabel guna memeriksa partisi tabel yang dihasilkan oleh node setiap hari. Aturan Kualitas Data dikaitkan dengan node penjadwalan yang menghasilkan data tabel. Ketika tugas selesai dijalankan, pemeriksaan Kualitas Data dipicu (tugas dry-run tidak memicu pemeriksaan). Anda dapat mengatur kekuatan aturan untuk mengontrol apakah node gagal dan keluar, sehingga mencegah penyebaran data kotor. Anda juga dapat mengonfigurasi pengaturan peringatan untuk menerima notifikasi dan menangani masalah dengan cepat.
Konfigurasikan aturan
Buat aturan: Kualitas Data memungkinkan Anda membuat aturan Kualitas Data berdasarkan tabel. Anda juga dapat menggunakan templat aturan yang telah ditentukan sebelumnya untuk membuat aturan Kualitas Data untuk beberapa tabel secara batch. Untuk informasi lebih lanjut, lihat Konfigurasikan aturan pemantauan untuk satu tabel dan Konfigurasikan aturan pemantauan untuk beberapa tabel berdasarkan templat.
Berlangganan aturan: Setelah membuat aturan, Anda dapat berlangganan untuk menerima notifikasi peringatan untuk pemeriksaan aturan Kualitas Data. Metode yang didukung meliputi Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, dan Custom Webhook.
- Catatan
Hanya DataWorks Edisi Perusahaan yang mendukung metode Custom Webhook.
Pemicu pemeriksaan kualitas data
Di Operation Center, ketika node penjadwalan yang terkait dengan tabel selesai dijalankan (mengeksekusi logika kode node), hal tersebut memicu pemeriksaan Kualitas Data, yang menghasilkan Pernyataan SQL untuk memvalidasi data pada mesin. DataWorks menentukan apakah tugas harus gagal dan keluar berdasarkan kekuatan aturan Kualitas Data dan hasil pemeriksaan. Ini menghalangi node hilir dari berjalan dan mencegah penyebaran data kotor.
Lihat hasil pemeriksaan
Anda dapat melihat hasil pemeriksaan Kualitas Data melalui log runtime node di Pusat Operasi dan halaman kueri tugas Kualitas Data.
Lihat log runtime node di Operation Center
Periksa status instans. Jika status menunjukkan gagal, kode mungkin telah dijalankan, tetapi output tidak lolos aturan Kualitas Data yang kuat. Hal ini menyebabkan tugas keluar dan menghalangi instans hilir.
Buka DQC Log di Runtime Log Instans untuk melihat hasil pemeriksaan Kualitas Data. Untuk informasi selengkapnya, lihat Lihat instans yang dipicu secara otomatis.
Lihat melalui halaman Running Records.
Di halaman tersebut, cari detail pemeriksaan tugas pemantauan Kualitas Data berdasarkan tabel atau node. Untuk informasi lebih lanjut, lihat Lihat detail pemantau.