DataWorks：Konfigurasikan aturan deteksi data dan jalankan tugas deteksi

Informasi latar belakang

Buka halaman Aturan Deteksi Data

1. Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Governance > Security Center. Pada halaman yang muncul, klik Go to Security Center.

2. Di panel navigasi sebelah kiri, klik Data usage security > Sensitive data management untuk membuka halaman Data Security Guard.

   Catatan

   • Jika Akun Alibaba Cloud Anda telah diberikan izin yang diperlukan, Anda dapat langsung mengakses halaman Data Security Guard.

   • Jika Akun Alibaba Cloud Anda belum diberikan izin yang diperlukan, Anda akan diarahkan ke halaman otorisasi Data Security Guard. Anda hanya dapat menggunakan fitur-fitur Data Security Guard setelah Akun Alibaba Cloud Anda diberikan izin yang diperlukan.

3. Di panel navigasi sebelah kiri, klik Rule Configuration > Sensitive Data Detection untuk membuka halaman Data Detection Rules.

Langkah 1: Konfigurasikan klasifikasi dan grading untuk bidang sensitif

Tipe bidang sensitif harus termasuk dalam kategori data dan memiliki tingkat sensitivitas yang ditentukan. Oleh karena itu, Anda harus mengonfigurasi klasifikasi dan grading data sebelum membuat tipe bidang sensitif dan mengonfigurasi aturan deteksi.

• Penjaga Keamanan Data menyediakan templat klasifikasi dan grading bawaan yang mencakup empat tingkat sensitivitas dan empat kategori utama yang dapat digunakan langsung. DataWorks memungkinkan Anda mengedit klasifikasi dan grading dalam templat bawaan atau membuat yang kustom. Anda dapat menentukan hingga 10 tingkat sensitivitas. Untuk kategori, Anda dapat menentukan kategori multilapis, subkategori, serta tipe bidang sensitif yang dikandungnya.

• Anda dapat mengonfigurasi grading sensitivitas untuk bidang pada halaman Rule Configuration > Data Classification and Grading.

  • Halaman Data Classification and Grading menampilkan templat bawaan default. Klik ikon di samping templat untuk mengedit nama templat, deskripsi, dan jumlah tingkat grading.

• Anda dapat mengonfigurasi klasifikasi untuk bidang sensitif pada halaman Rule Configuration > Sensitive Data Detection.

  • Jika Anda baru menggunakan Penjaga Keamanan Data, kategori default dari Built-in classification and grading template akan ditampilkan di sisi kiri halaman Data Detection Rules. Anda dapat mencari kategori berdasarkan nama. Anda juga dapat mengklik ikon di samping nama kategori untuk add a same-level category, add a subcategory, rename kategori, atau delete kategori.

  • Jika Anda adalah pengguna Penjaga Keamanan Data yang sudah ada, Anda dapat membuat hingga empat kategori data di sisi kiri halaman Data Detection Rules.

Langkah 2: Konfigurasikan aturan deteksi data sensitif

Aturan deteksi data sensitif harus dikonfigurasi berdasarkan tipe bidang sensitif. Topik ini menjelaskan detail konfigurasi, menggunakan membuat tipe bidang sensitif dan mengonfigurasi aturan deteksi data sebagai contoh. Anda juga dapat mengonfigurasi aturan deteksi data berdasarkan tipe bidang sensitif bawaan.

1. Pada halaman Data Detection Rules, klik + Sensitive field type di pojok kanan atas untuk menambahkan tipe bidang sensitif.

2. Konfigurasikan informasi dasar tipe bidang sensitif.

   1. Pada tab Basic Information, konfigurasikan parameter untuk bidang sensitif, seperti tipe, klasifikasi, dan grading.

      Tabel berikut menjelaskan parameter utama.

      Parameter	Deskripsi
      Sensitive Field Type	Nama kustom untuk tipe bidang sensitif, seperti nama, nomor KTP, atau nomor telepon. Nama harus unik.
      Category	Kategori tempat tipe bidang sensitif tersebut termasuk. Jika kategori yang ada tidak memenuhi kebutuhan Anda, buka halaman Data Classification and Grading untuk mengonfigurasi kategori. Untuk informasi lebih lanjut, lihat Konfigurasikan klasifikasi dan grading data sensitif.
      Sensitivity Level	Tingkat sensitivitas tempat tipe bidang sensitif tersebut termasuk. Angka yang lebih besar menunjukkan tingkat sensitivitas yang lebih tinggi. Jika tingkat grading yang ada tidak memenuhi kebutuhan Anda, buka halaman Data Classification and Grading untuk mengonfigurasi tingkat grading. Untuk informasi lebih lanjut, lihat Konfigurasikan klasifikasi dan grading data sensitif.

   2. Klik Next.

3. Konfigurasikan aturan deteksi untuk tipe bidang sensitif.

   Pada tab Rule Configuration, konfigurasikan aturan deteksi data sensitif dan kondisi pencocokannya, lalu uji akurasi aturan tersebut.

   Parameter	Deskripsi
   Rule Hits	Pilih kondisi hit untuk aturan deteksi dari daftar drop-down di sebelah kanan: Satisfy any rule: Aturan deteksi dihitung sebagai hit jika salah satu kondisi Data content detection atau Field name detection terpenuhi. Meet all rules: Aturan deteksi dihitung sebagai hit hanya jika kedua kondisi Data content detection dan Field name detection terpenuhi. Catatan Parameter Rule Hits hanya berlaku untuk aturan Data content detection dan Field name detection.
   Data Content Detection	Mendeteksi data sensitif berdasarkan konten data suatu bidang, yaitu nilai bidang tersebut. Misalnya, jika nilai bidang name adalah Zhang San, aturan tersebut mendeteksi Zhang San. Catatan Fitur pemindaian konten hanya tersedia di DataWorks Edisi Profesional dan yang lebih tinggi. Jika Anda menggunakan edisi DataWorks yang lebih rendah, upgrade ke Edisi Profesional atau yang lebih tinggi. Untuk informasi lebih lanjut tentang cara upgrade, lihat Pilih dan bayar versi perangkat lunak. Tentukan konten aturan deteksi data sensitif berdasarkan tipe aturan untuk mencocokkan teks sensitif. Tersedia empat tipe aturan: Regular Expression: Masukkan ekspresi reguler untuk aturan deteksi dan masukkan data uji untuk menguji akurasi aturan tersebut. Built-in Detection Rule: Pilih aturan deteksi bawaan dan masukkan data uji untuk menguji akurasi aturan tersebut. Catatan Anda hanya dapat memilih Built-in Detection Rule di DataWorks Edisi Perusahaan. Sample Library: Pilih sampel aturan yang telah dikonfigurasi dan masukkan data uji untuk menguji akurasi aturan tersebut. Untuk informasi lebih lanjut tentang cara mengonfigurasi sampel, lihat Deteksi menggunakan pustaka sampel. Custom Model: Pilih model aturan kustom dan masukkan data uji untuk menguji akurasi aturan tersebut. Untuk informasi lebih lanjut tentang cara mengonfigurasi model kustom, lihat Deteksi menggunakan model kustom. Catatan Anda hanya dapat memilih aturan Custom Model untuk Mesin DPI MaxCompute. Anda hanya dapat menggunakan Custom Model di DataWorks Edisi Perusahaan.
   Field Name Detection	Mendeteksi data sensitif berdasarkan nama bidang. Misalnya, jika nilai bidang name adalah Zhang San, aturan tersebut mendeteksi name. Masukkan bidang-bidang yang akan dideteksi sebagai data sensitif. Anda dapat menentukan beberapa bidang. Hubungan logis antar bidang adalah OR. Format input untuk sumber data yang berbeda adalah sebagai berikut: EMR, CDH, dan MaxCompute: project.table.column Hologres: instance_id.project.table.column Anda dapat menggunakan tanda bintang (*) sebagai karakter wildcard di segmen mana pun dari format input. Contohnya: a.b.*: Semua bidang dalam tabel b proyek a dideteksi sebagai data sensitif. ab*.c*.salary: Semua bidang salary dalam tabel yang namanya dimulai dengan c di proyek yang namanya dimulai dengan ab dideteksi sebagai data sensitif. *cd.ef*.sa*ry : Semua bidang yang namanya dimulai dengan sa dan diakhiri ry dalam tabel yang namanya dimulai dengan ef di proyek yang namanya diakhiri cd dideteksi sebagai data sensitif.
   Field Comment Detection	Mendeteksi data sensitif berdasarkan komentar bidang. Misalnya, Anda dapat mengonfigurasi komentar untuk tipe bidang sensitif nomor telepon sebagai "nomor telepon" dan "metode kontak". Saat sistem mendeteksi bahwa komentar data berisi "metode kontak", data tersebut dideteksi sebagai nomor telepon. Masukkan komentar bidang di kotak input. Panjang komentar bisa 0 hingga 100 karakter. Semua jenis karakter didukung. Anda dapat menambahkan hingga 10 kotak input.
   Field Exclusion	Masukkan bidang-bidang yang akan dikecualikan. Bidang yang sesuai dengan aturan pengecualian tidak akan dihitung sebagai hit oleh aturan deteksi ini. Anda dapat menentukan beberapa bidang. Hubungan logis antar bidang adalah OR. Format input untuk sumber data yang berbeda adalah sebagai berikut: EMR, CDH, dan MaxCompute: project.table.column Hologres: instance_id.project.table.column Anda dapat menggunakan tanda bintang (*) sebagai karakter wildcard di segmen mana pun dari format input. Contohnya: a.b.*: Semua bidang dalam tabel b proyek a dideteksi sebagai data sensitif. ab*.c*.salary: Semua bidang salary dalam tabel yang namanya dimulai dengan c di proyek yang namanya dimulai dengan ab dideteksi sebagai data sensitif. *cd.ef*.sa*ry : Semua bidang yang namanya dimulai dengan sa dan diakhiri ry dalam tabel yang namanya dimulai dengan ef di proyek yang namanya diakhiri cd dideteksi sebagai data sensitif.
   Hit Rate Configuration	Menentukan tingkat hit kustom untuk aturan. Ini menentukan persentase data tidak kosong dalam kolom yang harus sesuai dengan kondisi Data content detection agar aturan deteksi dihitung sebagai hit. Misalnya, 50%. Nilai default adalah 50%. Tingkat hit dihitung menggunakan rumus: 100% × Jumlah catatan data dalam kolom yang hit aturan deteksi / Total jumlah catatan data dalam kolom. Catatan Tingkat hit hanya berlaku untuk aturan Data content detection.

4. Publikasikan aturan deteksi data.

   Klik Publish untuk mempublikasikan aturan deteksi data saat ini. Setelah aturan dipublikasikan, Anda dapat menggunakannya dalam tugas deteksi untuk mendeteksi data sensitif yang sesuai.

Langkah 3: Otorisasi dan mulai tugas deteksi data sensitif

Setelah mengonfigurasi aturan deteksi data sensitif, Anda harus mengotorisasi dan memulai tugas deteksi data sensitif. Setelah tugas dimulai, platform akan mendeteksi data sensitif di tenant berdasarkan aturan deteksi.

1. Otorisasi tugas deteksi data sensitif.

   Pertama kali Anda memulai tugas deteksi data sensitif, klik Enable and Authorize di pojok kiri atas halaman Sensitive Data Detection dan berikan izin sesuai petunjuk.

   Catatan

   Setelah tugas deteksi data sensitif dimulai, Anda dapat mengklik Authorization Records di pojok kanan atas halaman Sensitive Data Detection untuk melihat detail otorisasi.

2. Mulai tugas deteksi data sensitif.

   1. Konfigurasikan tugas deteksi data sensitif.

      Saat mengonfigurasi tugas deteksi data sensitif, Anda harus mengonfigurasi tipe, metode pemindaian, dan cakupan pemindaian. Anda dapat mengonfigurasi tugas real-time, tugas terjadwal, atau tugas sekali jalan.

      1. Konfigurasikan tugas real-time.

         

         Tabel berikut menjelaskan parameter-parameter tersebut.

         Parameter	Deskripsi
         Account for Detection	Tentukan Akun Alibaba Cloud atau Pengguna RAM untuk mengambil sampel dan memindai data. Data diambil sampel dan dipindai menggunakan akun yang dipilih. Rentang data yang dapat diambil sampelnya bervariasi tergantung pada izin akun tersebut. Catatan Jika Anda menggunakan Pengguna RAM untuk deteksi, Pengguna RAM tersebut harus memiliki izin pada proyek MaxCompute.
         Real-time Detection	Hanya ODPS yang mendukung deteksi real-time. Saat metadata ODPS berubah (seperti menambahkan tabel atau bidang, atau mengubah bidang), Penjaga Keamanan Data secara otomatis memulai tugas deteksi data sensitif untuk metadata yang berubah tersebut. Penjaga Keamanan Data memperoleh perubahan metadata secara real-time. Jika perubahan disebabkan oleh tabel atau bidang baru, tabel atau bidang baru tersebut mungkin belum memiliki konten. Dalam kasus ini, hanya metadata yang digunakan untuk deteksi data sensitif.

      2. Konfigurasikan tugas terjadwal.Tabel berikut menjelaskan parameter-parameter tersebut.

         Parameter	Deskripsi
         Task Execution	Anda harus memulai tugas secara manual.
         Scan and update policy for subsequent detection tasks	Tersedia dua opsi: Pemindaian ulang dan pembaruan hasil hanya untuk aturan yang berubah, data yang terpengaruh olehnya, dan data tanpa hasil. Pemindaian ulang semua data dan menimpa semua hasil sebelumnya. Anda dapat memilih Do not overwrite manually corrected results.
         Account for Detection	Tentukan Alibaba Cloud account atau RAM user untuk mengambil sampel dan memindai data. Data diambil sampel dan dipindai menggunakan akun yang dipilih. Rentang data yang dapat diambil sampel dan dipindai bervariasi tergantung pada izin akun tersebut. Catatan Jika Anda menggunakan Pengguna RAM untuk mengambil sampel dan memindai data, Pengguna RAM tersebut harus memiliki izin pada proyek MaxCompute.
         Content Detection	Menentukan apakah aturan Content detection dan Metadata detection berlaku. Aturan yang sesuai hanya berlaku setelah Anda memilihnya. Catatan Jika Anda tidak memilih Content detection, Penjaga Keamanan Data tidak mengambil sampel atau memindai data. Aturan deteksi konten tidak berlaku. Namun, aturan deteksi nama bidang dan komentar bidang tetap berlaku.
         Sampling Quantity	Jumlah catatan data yang diambil sampelnya untuk deteksi konten. Kami merekomendasikan nilai lebih dari 100. Anda harus mengonfigurasi parameter ini jika memilih Content Detection.
         Scan Frequency dan Scan Time	Tentukan epoch pemindaian untuk tugas terjadwal. Konfigurasikan parameter ini hanya jika Anda mengatur Task Type ke Scheduled task. Atur frekuensi pemindaian ke Once a week atau Once a day. Untuk pemindaian mingguan, pilih hari dari Monday to Friday. Rentang waktu adalah 0:00 hingga 23:59.
         Scan Scope	Konfigurasikan rentang data yang akan dipindai oleh tugas deteksi data sensitif. All: Memindai semua data di bawah akun yang diotorisasi dari tenant saat ini. Partial data: Memindai data tabel dalam proyek tertentu. Catatan Secara default, cakupan proyek mencakup semua proyek dari semua mesin pemrosesan data. Anda dapat memindai tabel tertentu dalam proyek ODPS, EMR, dan Hologres. Panjang total nama tabel adalah 0 hingga 100 karakter. Semua jenis karakter didukung. Jika Anda membiarkannya kosong, semua tabel akan dipindai. Karakter wildcard .* didukung. Misalnya, .*name menunjukkan nama dengan akhiran name. private.* menunjukkan nama dengan awalan private. Pisahkan beberapa nama tabel atau bidang dengan koma (,). Pilih Partial data untuk menambahkan beberapa cakupan pemindaian proyek atau database. Cakupan pemindaian akhir adalah gabungan dari semua cakupan yang ditambahkan. Pilih proyek secara manual di panel sebelah kiri. Setelah memilih proyek, tabel data dalam proyek atau database tersebut akan ditampilkan di sebelah kanan. Anda dapat memilih tabel secara manual atau memilih semua tabel sekaligus. Secara default, semua tabel data dalam database dipilih. Anda dapat mencari cakupan proyek atau database dan tabel data berdasarkan kata kunci. Untuk mencari tabel data berdasarkan kata kunci, pilih proyek terlebih dahulu untuk melakukan pencarian di dalamnya.

      3. Konfigurasikan tugas sekali jalan.Tabel berikut menjelaskan parameter-parameter tersebut.

         Parameter	Deskripsi
         Scan and update policy for detection tasks	Tersedia dua opsi: Pemindaian ulang dan pembaruan hasil hanya untuk aturan yang berubah, data yang terpengaruh olehnya, dan data tanpa hasil. Pemindaian ulang semua data dan menimpa semua hasil sebelumnya. Anda dapat memilih Do not overwrite manually corrected results.
         Account for Detection	Tentukan Alibaba Cloud account atau RAM user untuk mengambil sampel dan memindai data. Data diambil sampel dan dipindai menggunakan akun yang dipilih. Rentang data yang dapat diambil sampel dan dipindai bervariasi tergantung pada izin akun tersebut. Catatan Jika Anda menggunakan Pengguna RAM untuk mengambil sampel dan memindai data, Pengguna RAM tersebut harus memiliki izin pada proyek MaxCompute.
         Content Detection	Menentukan apakah aturan Content detection dan Metadata detection berlaku. Aturan yang sesuai hanya berlaku setelah Anda memilihnya. Catatan Jika Anda tidak memilih Content detection, Penjaga Keamanan Data tidak mengambil sampel atau memindai data. Aturan deteksi konten tidak berlaku. Namun, aturan deteksi nama bidang dan komentar bidang tetap berlaku.
         Sampling Quantity	Jumlah catatan data yang diambil sampelnya untuk deteksi konten. Kami merekomendasikan nilai lebih dari 100. Anda harus mengonfigurasi parameter ini jika memilih Content Detection.
         Scan Scope	Konfigurasikan rentang data yang akan dipindai oleh tugas deteksi data sensitif. All: Memindai semua data di bawah akun yang diotorisasi dari tenant saat ini. Partial data: Memindai data tabel dalam proyek tertentu. Catatan Secara default, cakupan proyek mencakup semua proyek dari semua mesin pemrosesan data. Anda dapat memindai tabel tertentu dalam proyek ODPS, EMR, dan Hologres. Panjang total nama tabel adalah 0 hingga 100 karakter. Semua jenis karakter didukung. Jika Anda membiarkannya kosong, semua tabel akan dipindai. Karakter wildcard .* didukung. Misalnya, .*name menunjukkan nama dengan akhiran name. private.* menunjukkan nama dengan awalan private. Pisahkan beberapa nama tabel atau bidang dengan koma (,). Pilih Partial data untuk menambahkan beberapa cakupan pemindaian proyek atau database. Cakupan pemindaian akhir adalah gabungan dari semua cakupan yang ditambahkan. Pilih proyek secara manual di panel sebelah kiri. Setelah memilih proyek, tabel data dalam proyek atau database tersebut akan ditampilkan di sebelah kanan. Anda dapat memilih tabel secara manual atau memilih semua tabel sekaligus. Secara default, semua tabel data dalam database dipilih. Anda dapat mencari cakupan proyek atau database dan tabel data berdasarkan kata kunci. Untuk mencari tabel data berdasarkan kata kunci, pilih proyek terlebih dahulu untuk melakukan pencarian di dalamnya.

   2. Klik Run untuk memulai tugas pemindaian.

      Setelah tugas dimulai, Task Status berubah sebagai berikut:

      1. Tugas real-time: Status berubah menjadi Running.

      2. Tugas terjadwal: Status berubah menjadi Running. Saat waktu pemindaian yang dikonfigurasi tiba, platform akan mendeteksi data sensitif berdasarkan konfigurasi.

      3. Tugas sekali jalan: Grafik bilah kemajuan ditampilkan. Saat kemajuan mencapai 100%, pemindaian selesai. Kemajuan dihitung menggunakan rumus: (Jumlah tabel yang dipindai dalam tugas saat ini / Total jumlah tabel yang akan dipindai dalam tugas saat ini) × 100%.

      Catatan

      1. Jika Anda mengubah aturan deteksi, aturan baru tersebut berlaku pada tugas terjadwal berikutnya, bukan secara real-time. Untuk memicu tugas baru segera, Anda harus membuat tugas deteksi sekali jalan secara manual.

      2. Setelah tugas pemindaian selesai, Task Status diperbarui menjadi No Task.

Kelola aturan deteksi data

• Copy rule: Untuk menyalin aturan yang ada dengan cepat, klik ikon . Nama aturan baru secara default memiliki akhiran -copy, dan statusnya adalah Draft. Anda dapat mengonfigurasinya sesuai kebutuhan.

• Edit rule: Untuk mengubah informasi aturan, klik ikon .

  Catatan

  • Anda tidak dapat mengubah informasi dasar aturan yang dikonfigurasi berdasarkan tipe bidang sensitif bawaan.

  • Jika Anda mengubah aturan, hasil deteksi untuk bidang yang sesuai dengan versi sebelumnya aturan tersebut akan dihapus.

• Delete rule: Jika aturan tidak lagi diperlukan, klik ikon untuk menghapusnya.

  Penting

  Menghapus aturan deteksi untuk tipe data sensitif memiliki dampak signifikan. Baca dampak berikut dengan cermat sebelum mengonfirmasi penghapusan.

  • Catatan tipe bidang sensitif ini dihapus dari hasil deteksi. Untuk informasi lebih lanjut, lihat Lihat dan koreksi secara manual hasil deteksi data sensitif.

  • Statistik untuk tipe bidang sensitif ini tidak lagi termasuk dalam informasi distribusi data sensitif di modul Data Discovery. Untuk informasi lebih lanjut, lihat Ikhtisar data sensitif.

  • Jika aturan Pendeteksian Penipuan mereferensikan tipe bidang sensitif ini, referensi tersebut akan dihapus. Untuk informasi lebih lanjut, lihat Manajemen Pendeteksian Penipuan.

• Publish rules in a batch: Setelah aturan dipublikasikan, platform menggunakannya untuk mendeteksi data sensitif yang sesuai. Jika Anda memiliki banyak aturan, Anda dapat mempublikasikannya secara batch.

  1. Pada halaman Data Detection Rules, klik Publish in Batch dan pilih aturan yang akan dipublikasikan.

     Catatan

     Anda hanya dapat memilih aturan dalam status Draft.

  2. Klik Publish. Setelah aturan dipublikasikan, statusnya berubah menjadi Published.

     Catatan

     Untuk membatalkan publikasi, klik Cancel. Aturan akan kembali ke status Draft semula.

• Deactivate rules in a batch: Saat aturan dinonaktifkan, platform tidak lagi menggunakannya untuk mendeteksi jenis data sensitif yang sesuai. Catatan tipe bidang sensitif ini dihapus dari modul seperti Data Discovery dan Koreksi Data Manual. Sebelum menonaktifkan aturan, periksa apakah aturan tersebut direferensikan oleh data masking rules atau Fraud Detection rules. Jika iya, Anda harus terlebih dahulu menonaktifkan data masking rule dan menghapus referensi dari Fraud Detection rule. Untuk informasi lebih lanjut, lihat Buat aturan penyamaran data dan Manajemen Pendeteksian Penipuan.

  1. Pada halaman Data Detection Rules, klik Deactivate in Batch dan pilih aturan yang akan dinonaktifkan.

     Catatan

     Anda hanya dapat memilih aturan dalam status Published.

  2. Klik Batch Deactivate. Setelah aturan dinonaktifkan, statusnya berubah menjadi Draft.

     Catatan

     Untuk membatalkan penonaktifan, klik Cancel. Aturan akan kembali ke status Published semula.

Langkah selanjutnya: Lihat catatan eksekusi tugas

Halaman Sensitive Data Detection > Detection Tasks > Task Execution Records menampilkan catatan tugas yang telah selesai dalam seminggu terakhir. Halaman ini tidak mencakup catatan tugas yang sedang berjalan. Anda dapat melihat detail seperti Start Time, End Time, Duration, Task Type, Owner, dan Data Range.