DataWorks:Diagnosis dan atur masalah node

Pengaturan konfigurasi

Konfigurasikan fitur diagnosis masalah sesuai preferensi Anda. Semua pengaturan konfigurasi hanya berlaku untuk akun yang sedang login.

1. Buka halaman daftar ruang kerja DataWorks, temukan ruang kerja target, lalu klik Actions > Quick Access > Data Studio.

2. Klik > Setup di bagian bawah panel navigasi kiri, lalu buka tab User pada halaman Setup.

Manajemen pustaka aturan bawaan

Perilaku pemeriksaan plugin Data Asset Governance dikendalikan oleh pustaka aturan, yang terbagi menjadi aturan bawaan dan aturan kustom. Anda dapat mengaktifkan atau menonaktifkan aturan tertentu sesuai kebutuhan.

1. Di panel navigasi kiri halaman Data Studio, klik ikon governance untuk membuka konfigurasi plugin Data Asset Governance.

2. Di bagian Built-in Rule Library pada panel plugin Data Asset Governance, temukan aturan governance target lalu klik ikon toggle di sebelahnya untuk mengaktifkan atau menonaktifkan aturan tersebut.

   • Diaktifkan (default): Aturan diperiksa saat Anda menyimpan node.

   • Dimatikan: Aturan tidak diperiksa saat Anda menyimpan node.

Pustaka aturan kustom

Ketika aturan bawaan tidak memenuhi logika bisnis atau standar pengkodean spesifik tim Anda, plugin Data Asset Governance menyediakan pustaka aturan kustom. Anda dapat mendefinisikan aturan pemeriksaan baru dengan menggunakan deskripsi bahasa alami dan contoh positif/negatif.

Pemindaian mendalam

Selain pemindaian satu file yang disebutkan di bagian Memulai dengan Cepat, pemindaian mendalam batch juga didukung.

1. Di panel navigasi kiri halaman Data Studio, klik ikon governance untuk membuka konfigurasi plugin Data Asset Governance.

2. Di bagian In-depth Inspection pada panel plugin Data Asset Governance, pilih file yang akan dipindai secara batch dan aturan yang akan diterapkan, lalu mulai pemindaian mendalam.

   Penting

   • Cakupan pemindaian batch terbatas pada tab file yang sedang terbuka di editor. Anda dapat memilih hingga 5 file. File yang tidak terbuka tidak dapat dipilih.

   • Hanya satu pemindaian mendalam yang dapat dijalankan dalam satu waktu selama pemindaian batch.

   

3. Di panel hasil In-depth Inspection, klik View Log di pojok kanan atas untuk melihat proses penilaian terperinci oleh model bahasa besar terhadap aturan pemeriksaan.

Kueri tabel partisi harus menyertakan filter partisi

• Deskripsi risiko: Mengkueri tabel partisi MaxCompute tanpa menentukan partisi memicu pemindaian tabel penuh, yang mengonsumsi sumber daya komputasi signifikan dan menimbulkan biaya tinggi.

• Contoh kode salah:

  SELECT user_id, order_amount
  FROM user_orders
  WHERE status = 'paid';

• Contoh kode benar:

  SELECT user_id, order_amount
  FROM user_orders
  WHERE status = 'paid'
  AND pt = '${bizdate}'; -- Tambahkan kondisi filter partisi

• Logika perbaikan otomatis: Quick fix didukung. Sistem secara otomatis menambahkan kondisi partisi ke klausa WHERE, seperti AND pt = '${bizdate}'.

INSERT INTO dengan rerun diaktifkan tidak diizinkan

• Deskripsi risiko: Jika task SQL hanya berisi logika INSERT INTO dan rerun diizinkan dalam pengaturan penjadwalan, setiap rerun akan menambahkan data ke tabel target, yang dapat menyebabkan duplikasi data dan mengompromikan akurasi data.

• Contoh kode salah:

  -- Atur properti task ke "Rerunnable"
  INSERT INTO target_table SELECT * FROM source_table;

• Contoh kode benar:

  -- Atur properti task ke "Rerunnable"
  INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;

• Logika perbaikan otomatis: Quick fix didukung. Sistem mengubah INSERT INTO menjadi INSERT OVERWRITE untuk memastikan data ditimpa, bukan ditambahkan, selama rerun.

Tipe kolom JOIN harus konsisten

• Deskripsi risiko: Di MaxCompute SQL, ketidakkonsistenan tipe kolom dalam operasi JOIN menyebabkan konversi tipe implisit, yang dapat mengakibatkan error komputasi, degradasi performa, dan masalah kualitas data.

• Contoh kode salah:

  -- a.user_id adalah BIGINT, b.uid adalah STRING
  SELECT * FROM table_a a JOIN table_b b ON a.user_id = b.uid;

• Contoh kode benar:

  -- a.user_id adalah BIGINT, b.uid adalah STRING
  SELECT * FROM table_a a JOIN table_b b ON a.user_id = CAST(b.uid AS BIGINT);

• Logika perbaikan otomatis: Quick fix didukung. Sistem secara otomatis mendeteksi dan menerapkan konversi tipe eksplisit menggunakan fungsi CAST pada salah satu kolom agar sesuai dengan tipe kolom lainnya.

INSERT ke tabel di luar proyek saat ini

• Deskripsi risiko: Menulis data dari task di proyek A ke tabel di proyek B merupakan operasi berisiko tinggi. Hal ini melanggar isolasi proyek dan dapat menyebabkan akses data tidak sah serta kebocoran data.

• Contoh kode salah:

  -- Jalankan dalam task di project_A
  INSERT INTO project_B.some_table SELECT * FROM my_table;

• Contoh kode benar:

  -- Pendekatan yang direkomendasikan: Data harus ditulis oleh task yang dimiliki oleh proyek pemilik tabel (project_B).
  -- Hindari operasi ini di project_A.

• Logika perbaikan otomatis: Perbaikan otomatis tidak didukung. Anda harus menyesuaikan pipeline sinkronisasi data berdasarkan kebutuhan bisnis untuk memastikan data ditulis oleh task milik proyek target.

Tugas terjadwal tidak boleh menulis ke tabel lingkungan pengembangan

• Deskripsi risiko: Saat tugas terjadwal di lingkungan produksi menulis data ke tabel di lingkungan pengembangan, tingkat perlindungan data berkurang, sehingga menimbulkan risiko keamanan data.

• Contoh kode salah:

  -- Jalankan dalam task di lingkungan produksi (PROD)
  INSERT OVERWRITE TABLE user_dev.temp_data SELECT * FROM user_prod.source_data;

• Contoh kode benar:

  -- Task produksi harus menulis ke tabel di lingkungan produksi
  INSERT OVERWRITE TABLE user_prod.result_data SELECT * FROM user_prod.source_data;

• Logika perbaikan otomatis: Perbaikan otomatis tidak didukung. Anda harus memodifikasi tabel target secara manual untuk memastikan alur data mematuhi standar isolasi lingkungan.

CREATE TABLE tidak diizinkan dalam SQL

• Deskripsi risiko: Menggunakan CREATE TABLE secara langsung dalam task SQL terjadwal dapat menyebabkan kepemilikan tabel tidak jelas (tabel biasanya dimiliki oleh akun utama atau akun penjadwalan), meningkatkan biaya manajemen, dan menimbulkan risiko penghapusan data tidak sengaja.

• Contoh kode salah:

  CREATE TABLE my_temp_table (id INT);
  INSERT INTO my_temp_table VALUES (1);

• Contoh kode benar:

  -- Tabel harus dibuat terlebih dahulu di modul manajemen tabel DataWorks, lalu digunakan langsung dalam task SQL.
  INSERT INTO my_temp_table VALUES (1);

• Logika perbaikan otomatis: Perbaikan otomatis tidak didukung. Kami merekomendasikan Anda membuat tabel di manajemen metadata DataWorks, atau gunakan CREATE TABLE IF NOT EXISTS untuk menghindari error dalam skenario tertentu.

Pemeriksa parameter penjadwalan yang hilang

• Deskripsi risiko: Tujuan utama task penjadwalan periodik adalah memproses data secara inkremental berdasarkan dimensi waktu. Jika parameter penjadwalan (seperti ${bizdate}) tidak ada dalam kondisi WHERE, task tersebut dapat memproses data penuh setiap hari atau memproses rentang tanggal yang salah, sehingga menyebabkan kelalaian data, ketidakkonsistenan, dan pemborosan sumber daya signifikan.

• Contoh kode salah:

  -- Error: Parameter penjadwalan tidak ada, tidak dapat melakukan pemrosesan inkremental harian
  INSERT OVERWRITE TABLE users_active_today PARTITION (pt = '${bizdate}')
  SELECT    user_id  FROM    login_log; -- WHERE pt = '...' tidak ada

• Contoh kode benar:

  -- Benar: Gunakan parameter penjadwalan sebagai kondisi filter untuk mencapai pemrosesan inkremental harian
  INSERT OVERWRITE TABLE users_active_today PARTITION (pt = '${bizdate}')
  SELECT    user_id FROM    login_log
  WHERE    pt = '${bizdate}';

• Logika perbaikan otomatis: Perbaikan otomatis tidak sepenuhnya didukung. Plugin menyoroti potensi filter parameter penjadwalan yang hilang, tetapi karena kompleksitas logika bisnis, kami merekomendasikan Anda menambahkan kondisi filter yang benar secara manual sesuai kebutuhan aktual.