Perbaiki masalah kode SQL dengan plugin governance DataWorks - DataWorks

DataWorks menyediakan fitur pengembangan dan tata kelola data real-time yang mengintegrasikan plugin tata kelola data dengan teknologi Language Server Protocol (LSP). Fitur ini memicu pemeriksaan cerdas saat Anda menyimpan kode dan memberikan saran perbaikan terarah. Developer dapat menerapkan perbaikan hanya dengan satu klik untuk menyelesaikan masalah secara cepat. Dengan memanfaatkan library aturan tata kelola preset dan mesin analisis semantik, fitur ini secara proaktif mengidentifikasi error sintaks, masalah spesifikasi data, serta bug potensial dalam kode Anda, sehingga membentuk sistem manajemen loop tertutup untuk kualitas kode.

Perhatian

Perubahan pada plugin pemeriksaan tata kelola node pengembangan data, item tata kelola terkait, dan pengaturan LSP hanya berlaku untuk akun saat ini.

Diagnosis masalah item tata kelola

Plugin tata kelola data DataWorks mencakup library aturan bawaan yang kaya dan siap pakai tanpa konfigurasi tambahan. Saat Anda menyimpan kueri SQL atau skrip, plugin secara otomatis memindai kode untuk mendeteksi masalah dan memberikan saran perbaikan, sehingga meningkatkan efisiensi pengembangan. Jika tidak diperlukan, fitur ini dapat dinonaktifkan kapan saja.

Cakupan

Wilayah yang didukung: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).
Node yang didukung: Untuk melihat jenis node yang berlaku untuk setiap item tata kelola, lihat Lihat solusi untuk event item pemeriksaan.

Koneksi ke plugin tata kelola

Pada halaman Settings di Data Studio, opsi DataStudio Governance Check Module Enablement dipilih secara default. Pengaturan ini memungkinkan sistem mendeteksi secara proaktif masalah yang dapat ditata dalam kode selama proses pengeditan. Untuk mengelola item konfigurasi tingkat pengguna ini, ikuti langkah-langkah berikut.

Buka halaman DataWorks Workspaces. Pada bilah navigasi atas, alihkan ke Wilayah tujuan, temukan ruang kerja target, lalu klik Shortcuts > Data Studio di kolom Actions untuk menuju halaman DataStudio.
Di pojok kiri bawah panel navigasi, klik > Settings dan buka tab User pada halaman Settings.
Pada tab User, temukan Extension > Data Studio > Data Governance. Anda dapat mengaktifkan atau menonaktifkan plugin tata kelola data untuk pengembangan data sesuai kebutuhan.
- Aktifkan plugin tata kelola data (pengaturan default)Untuk menggunakan plugin tata kelola data guna mendeteksi dan memperbaiki masalah dalam kode Anda, pastikan kotak centang DataStudio Governance Check Module Enablement dipilih. Anda kemudian dapat mengonfigurasi item tata kelola untuk melakukan tata kelola terarah pada Tugas pengembangan data.
- Nonaktifkan plugin tata kelola dataJika Anda tidak ingin menggunakan plugin tata kelola data untuk memeriksa masalah kode, kosongkan kotak centang DataStudio Governance Check Module Enablement. Setelah dinonaktifkan, fitur ini tidak tersedia lagi untuk Tugas node pengembangan data.

Aktifkan item pemeriksaan tata kelola

Saat plugin tata kelola diaktifkan, semua item tata kelola yang terintegrasi dengan pengembangan data diaktifkan secara default. Anda dapat mengaktifkan atau menonaktifkan item tata kelola tertentu dengan mengikuti langkah-langkah berikut.

Pada panel navigasi kiri halaman DataStudio, klik ikon untuk membuka folder Data ASSET Governance.
Dalam Rule Library, Anda dapat mengaktifkan atau menonaktifkan item tata kelola berdasarkan deskripsinya di Daftar item tata kelola. Semua item secara default diaktifkan.
Jika Anda tidak ingin menggunakan aturan tata kelola tertentu, temukan item pemeriksaan terkait di Rule Library dan klik ikon di sebelahnya untuk menonaktifkannya.
Penting
Setelah Anda menonaktifkan item tata kelola, pemeriksaan untuk item tersebut tidak lagi dipicu saat Anda mengedit dan menyimpan Tugas pengembangan data di ruang kerja untuk akun saat ini.

Temukan masalah

Setelah Anda mengaktifkan plugin tata kelola dan item pemeriksaan tata kelola, DataWorks Copilot secara otomatis memindai kode Anda saat Anda menyimpan jenis node yang mendukung pemeriksaan tata kelola. Sistem akan menandai potensi masalah. Anda dapat memutuskan apakah akan menerima saran tersebut sesuai kebutuhan.

Catatan

Saat Anda mengedit dan menyimpan konten node, sistem mendeteksi apakah kontennya berubah. Jika konten berubah, sistem secara otomatis menghapus hasil deteksi masalah sebelumnya. Setelah Anda menyimpan node, proses penemuan masalah baru dipicu.

Lihat jumlah masalah.
Saat Anda mengedit kode, sistem memindai masalah secara real-time. Saat Anda menyimpan node, jumlah masalah yang dapat ditata pada node tersebut muncul di pojok kiri bawah halaman.
Lihat detail masalah.
Klik ikon di pojok kiri bawah halaman. Di area Problems yang muncul, Anda dapat melihat masalah yang memerlukan tata kelola pada node tersebut.

Perbaiki masalah

Untuk setiap masalah yang tercantum di panel Problems, disediakan penjelasan mengenai kriteria deteksinya. Anda dapat mengklik tautan di sebelah masalah untuk melihat penjelasan rinci dan informasi latar belakang. Saran juga diberikan untuk membantu Anda menyelesaikan masalah tersebut dengan cepat. Ikuti langkah-langkah berikut:

Klik tautan Data Asset Governance di sebelah masalah terkait untuk menuju halaman Data Asset Governance di sebelah kanan.
Pada tab Related Issues, Anda dapat melihat deskripsi masalah dari model AI, laporan analisis tata kelola, serta saran cara menangani masalah tersebut.
Untuk mempelajari lebih lanjut tentang detail tata kelola, alihkan ke tab Rule Description. Pada tab ini, Anda dapat melihat item pemeriksaan, logika aturan, dan panduan penanganan yang terkait dengan masalah tersebut.
Klik tautan terkait di bawah Suggested Actions dan ikuti instruksi pada layar untuk memperbaiki masalah.
Metode operasi bervariasi tergantung pada item tata kelola. Antarmuka menyediakan instruksi spesifik.

Diagnosis masalah sintaks LSP

Bagian ini menjelaskan cara menggunakan fitur Language Server Protocol (LSP) untuk memindai masalah kode secara real-time saat Anda mengedit SQL atau skrip, serta cara menggunakan fitur Copilot untuk memperbaiki masalah tersebut dengan cepat.

Aktifkan LSP

Pada halaman Settings di DataStudio, Anda dapat menggunakan item konfigurasi SyntaxErrorEnable untuk mengontrol apakah diagnosis sintaks diaktifkan selama pengeditan kode. Untuk mengelola item konfigurasi tingkat pengguna ini, ikuti langkah-langkah berikut.

Buka halaman DataWorks Workspaces. Pada bilah navigasi atas, alihkan ke Wilayah tujuan, temukan ruang kerja target, lalu klik Shortcuts > Data Studio di kolom Actions untuk menuju halaman DataStudio.
Di pojok kiri bawah panel navigasi, klik > Settings dan buka tab User pada halaman Settings.
Pada tab User, klik Extension > LspSetting untuk mengonfigurasi diagnosis sintaks.
- SyntaxErrorEnable: Mengaktifkan atau menonaktifkan diagnosis sintaks. Anda dapat mengatur item konfigurasi ini ke true atau false untuk mengaktifkan atau menonaktifkan fitur diagnosis sintaks selama pengembangan data.
- SyntaxErrorSeverity: Menetapkan tingkat keparahan untuk diagnosis error sintaks. Anda dapat mengatur item konfigurasi ini ke tingkat berbeda untuk mengontrol level peringatan terhadap pengecualian diagnosis sintaks selama pengembangan data.

Temukan masalah

Saat Anda mengedit kode node, klik ikon di pojok kiri bawah halaman. Di area Problems yang muncul, Anda dapat melihat pengecualian masalah kode pada node tersebut. Klik suatu masalah untuk langsung menemukan potongan kode bermasalah di node target.

Perbaiki masalah

Setelah Anda menemukan potongan kode bermasalah di node target, arahkan kursor mouse ke potongan kode yang salah untuk menampilkan titik masuk perbaikan cepat. Dari titik masuk ini, Anda dapat menggunakan DataWorks Copilot dan memilih dari berbagai model untuk memperbaiki kode.

Lampiran: Daftar item tata kelola

Nama Aturan	Skenario
Constants in JOIN ON Conditions	Dalam transformasi data, jika Anda menggunakan konstanta dalam kondisi `ON` `LEFT JOIN` untuk memfilter tabel kiri, atau melakukan operasi serupa pada tabel kanan dalam `RIGHT JOIN`, data tidak difilter secara efektif. Hal ini juga dapat menghasilkan data kotor dan menyebabkan masalah akurasi data.
Missing Schedule Parameter Checker	Parameter penjadwalan adalah parameter dinamis yang digunakan dalam kode selama penjadwalan Tugas. Parameter ini secara otomatis diganti dengan nilai spesifik berdasarkan Waktu data, waktu terjadwal, dan format nilai preset dari Tugas tersebut. Proses ini memungkinkan Penggantian parameter dinamis selama penjadwalan Tugas. Parameter penjadwalan yang hilang dapat menyebabkan error transformasi data atau kegagalan eksekusi Tugas.
Prevent Non-partitioned Tables in Scheduled Jobs	Menggunakan tabel non-partisi dalam Tugas yang dipicu otomatis berarti tabel non-partisi digunakan sebagai tabel temporary untuk menyimpan data antara dalam Tugas penjadwalan yang sama, dan data dibaca dari tabel ini dalam Tugas tersebut. Saat pengisian ulang data dilakukan secara konkuren untuk beberapa Waktu data, ketidakkonsistenan data dan kehilangan data dapat terjadi. Masalah ini muncul karena tidak ada jaminan bahwa tabel antara menyimpan data untuk Waktu data yang benar.
Specify the Partition to Query	Saat Anda melakukan kueri pada tabel partisi MaxCompute, jika Anda tidak menentukan partisi, pemindaian tabel penuh (brute-force scan) akan dipicu. Pemindaian ini menghasilkan overhead komputasi yang sangat tinggi.
Prevent INSERT INTO with Rerun Enabled	Jika kode SQL hanya berisi logika untuk menulis data ke tabel target menggunakan `INSERT INTO SELECT` dan Tugas dikonfigurasi untuk mengizinkan rerun, rerun Tugas tersebut dapat menyebabkan penulisan data duplikat. Hal ini dapat menimbulkan masalah kebenaran data. Oleh karena itu, operasi ini dilarang.
Require Matching Data Types of JOIN Columns	Selama pengembangan data SQL MaxCompute, operasi `JOIN` sering digunakan. Saat menulis kondisi `ON`, developer sering mengabaikan konsistensi tipe bidang. Hal ini dapat menyebabkan error transformasi dan memengaruhi kualitas data.
Prevent Scheduled Production Jobs from Writing to Development Tables	Jika Tugas yang dipicu otomatis menulis data ke tabel dalam Proyek pengembangan di ruang kerja standar, tingkat perlindungan data berkurang dan risiko keamanan muncul.
Prevent Overriding System Functions	Jika fungsi yang dikirimkan memiliki nama yang sama dengan fungsi bawaan, fungsi yang dikirimkan akan menimpa fungsi bawaan sistem. Saat anggota Proyek lain menggunakan fungsi tersebut, hal ini dapat menyebabkan pemahaman yang tidak konsisten terhadap fungsi bawaan, sehingga memengaruhi Penggunaan dan maintenance.
Disallow MAX_PT Function	Untuk Tugas yang dipicu otomatis yang dikirimkan untuk eksekusi terjadwal, jika kode berisi fungsi `MAX_PT`, fungsi tersebut selalu mengembalikan partisi terbesar dari tabel (berdasarkan urutan alfabet) dalam skenario seperti pengisian ulang data. Hal ini dapat menghasilkan perilaku yang tidak diharapkan. Untuk deskripsi rinci mengenai perilaku Pengambilan nilai fungsi `MAX_PT`, lihat Fungsi lainnya.
Prevent Table Creation in SQL	Membuat tabel dalam skrip SQL yang dikirimkan untuk eksekusi terjadwal memiliki dua potensi masalah. Pertama, tabel dimiliki oleh akun penyewa penjadwalan atau Pemilik ruang kerja (Akun Alibaba Cloud). Kepemilikan yang tidak jelas ini menimbulkan biaya manajemen tambahan. Kedua, karena tidak ada Tinjauan manual, risiko tinggi terjadi kesalahan purge data. Oleh karena itu, praktik ini dilarang.
INSERT into External Project Tables	Saat Tugas yang Berjalan di Proyek MaxCompute digunakan untuk menulis data ke tabel di Proyek MaxCompute yang berbeda, sistem menganggap ini sebagai operasi keamanan berisiko tinggi. Operasi ini menimbulkan risiko akses data tidak sah dan kebocoran data. Kami menyarankan agar Anda menggunakan isolasi Proyek. Tugas di Proyek A sebaiknya tidak menulis ke tabel di Proyek B. Hal ini berlaku baik untuk lingkungan Proyek pengembangan maupun produksi.