DataWorks:Konfigurasikan aturan dan tugas deteksi data

Latar Belakang

Buka aturan deteksi data

1. Masuk ke Konsol DataWorks. Di wilayah target, klik Data Governance > Security Center di panel navigasi sebelah kiri. Pada halaman yang muncul, klik Go to Security Center.

2. Di panel navigasi sebelah kiri, klik Data Security > Sensitive Data Management, lalu klik Try Now untuk mengakses Data Security Guard.

   Catatan

   • Jika Akun Alibaba Cloud Anda sudah memiliki otorisasi, Anda akan langsung diarahkan ke halaman utama Data Security Guard.

   • Jika Akun Alibaba Cloud Anda belum memiliki otorisasi, Anda akan dialihkan ke halaman otorisasi Data Security Guard. Untuk menggunakan fitur Data Security Guard pertama kali, buka Data Security > Sensitive Data Management, pilih Data Security Guard pada dialog pop-up, lalu selesaikan proses otorisasi.

3. Di panel navigasi sebelah kiri, pilih Rule Setting > Sensitive Data Detection untuk membuka halaman aturan deteksi data.

Langkah 1: Konfigurasikan klasifikasi dan gradasi data

Tipe field sensitif harus termasuk dalam suatu kategori data dan memiliki tingkat sensitivitas yang ditentukan. Oleh karena itu, sebelum membuat tipe field sensitif baru dan mengonfigurasi aturan deteksi datanya, Anda harus terlebih dahulu mengonfigurasi klasifikasi dan gradasi data.

• Data Security Guard menyediakan templat klasifikasi dan gradasi bawaan dengan empat tingkat sensitivitas dan empat kategori utama yang dapat digunakan langsung. DataWorks memungkinkan Anda mengedit templat bawaan atau membuat klasifikasi dan gradasi baru. Anda dapat menentukan hingga 10 tingkat sensitivitas. Untuk kategori, Anda dapat menyesuaikan beberapa lapisan, subkategori, serta tipe field sensitif yang dikandungnya.

• Konfigurasikan tingkat sensitivitas pada halaman Rule Setting > Data classification grading.

  • Halaman klasifikasi dan gradasi data menampilkan templat bawaan default. Anda dapat mengklik ikon di samping templat untuk mengubah nama templat, deskripsi, dan jumlah tingkat sensitivitas.

• Konfigurasikan kategori data pada halaman Rule Setting > Sensitive Data Detection.

  • Jika Anda menggunakan Data Security Guard untuk pertama kali, panel navigasi sebelah kiri pada halaman aturan deteksi data menampilkan kategori default dari templat klasifikasi dan gradasi bawaan. Anda dapat mencari kategori berdasarkan nama atau mengklik ikon di samping kategori untuk melakukan aksi seperti Add Sibling Category, Add Subcategory, Rename, dan Delete.

  • Jika Anda adalah pengguna Data Security Guard yang sudah ada, Anda dapat membuat kategori data di panel navigasi sebelah kiri pada halaman aturan deteksi data. Anda dapat membuat maksimal empat kategori.

Langkah 2: Konfigurasikan aturan deteksi data

Aturan deteksi data dikonfigurasi berdasarkan tipe field sensitif. Topik ini menggunakan contoh membuat tipe field sensitif baru dan mengonfigurasi aturan deteksi data untuk memandu Anda melalui proses konfigurasi. Anda juga dapat mengonfigurasi aturan deteksi data berdasarkan tipe field sensitif bawaan.

1. Pada halaman aturan deteksi data, klik +Sensitive Field Type di pojok kanan atas untuk membuat tipe field sensitif.

2. Konfigurasikan informasi dasar untuk tipe field sensitif.

   1. Pada tab Basic Information, konfigurasikan tipe, kategori, dan tingkat sensitivitas untuk field sensitif.

      Tabel berikut menjelaskan parameter-parameter tersebut.

      Parameter	Deskripsi
      Sensitive field type	Nama kustom untuk tipe field sensitif, misalnya Name, ID Card Number, atau Phone Number. Nama harus unik.
      Category	Pilih kategori tempat tipe field sensitif tersebut termasuk. Jika kategori yang tersedia tidak memenuhi kebutuhan Anda, buka halaman Data classification grading untuk mengonfigurasinya. Untuk informasi lebih lanjut, lihat Konfigurasikan klasifikasi dan gradasi data.
      Sensitivity level	Pilih tingkat sensitivitas untuk tipe field sensitif tersebut. Angka yang lebih besar menunjukkan tingkat sensitivitas yang lebih tinggi. Jika tingkat sensitivitas yang tersedia tidak memenuhi kebutuhan Anda, buka halaman Data classification grading untuk mengonfigurasinya. Untuk informasi lebih lanjut, lihat Konfigurasikan klasifikasi dan gradasi data.

   2. Klik Next Step.

3. Konfigurasikan aturan deteksi untuk tipe field sensitif.

   Pada tab Rule Setting, konfigurasikan aturan deteksi data, tentukan kondisi pencocokan, dan uji akurasi aturan tersebut.

   Parameter	Deskripsi
   Hit Rules	Dari daftar drop-down di sebelah kanan, pilih kondisi pencocokan untuk aturan deteksi: Satisfy any rule: Ini memicu aturan jika salah satu kondisi untuk Data Content Identification atau Field Name Identification terpenuhi. Satisfy all rules: Ini memicu aturan hanya jika semua kondisi untuk Data Content Identification dan Field Name Identification terpenuhi. Catatan Pengaturan Hit Rules hanya berlaku untuk aturan Data Content Identification dan Field Name Identification.
   Data Content Identification	Mengidentifikasi konten data (nilai) suatu field. Misalnya, jika field name memiliki nilai "Zhang San", aturan tersebut mengidentifikasi "Zhang San". Catatan Fitur pemindaian konten hanya tersedia di DataWorks Edisi Profesional atau lebih tinggi. Jika Anda menggunakan edisi yang lebih rendah, upgrade ke Edisi Profesional atau edisi yang lebih tinggi. Untuk informasi lebih lanjut tentang peningkatan, lihat Pilih dan beli edisi DataWorks. Tentukan konten aturan menggunakan salah satu dari empat tipe aturan berikut untuk mencocokkan teks sensitif: Regular Expression: Masukkan ekspresi reguler dan berikan data uji untuk memverifikasi akurasinya. Built-in Detection Rule: Pilih aturan deteksi bawaan dan berikan data uji untuk memverifikasi akurasinya. Catatan Built-in Detection Rule hanya tersedia di DataWorks Edisi Perusahaan. Sample Library: Pilih sampel aturan yang telah dikonfigurasi dan berikan data uji untuk memverifikasi akurasinya. Untuk informasi lebih lanjut tentang cara mengonfigurasi sampel, lihat Identifikasi data menggunakan sample library. Self-generated Model: Pilih model aturan kustom dan berikan data uji untuk memverifikasi akurasinya. Untuk informasi lebih lanjut tentang cara mengonfigurasi model kustom, lihat Identifikasi data menggunakan model kustom. Catatan Tipe aturan Self-generated Model hanya didukung untuk engine MaxCompute. Fitur Self-generated Model hanya tersedia di DataWorks Edisi Perusahaan.
   Field Name Identification	Mengidentifikasi nama suatu field. Misalnya, jika field name memiliki nilai "Zhang San", aturan tersebut mengidentifikasi name. Masukkan field-field yang akan diidentifikasi sebagai data sensitif. Beberapa field dicocokkan menggunakan hubungan OR. Format input untuk sumber data yang berbeda adalah sebagai berikut: EMR, CDH, dan MaxCompute: project.table.column Hologres: instance_id.project.table.column Anda dapat menggunakan tanda bintang (*) sebagai wildcard di bagian mana pun dari format tersebut. Contoh: a.b.*: Menunjukkan bahwa semua field dalam tabel b proyek a akan diidentifikasi sebagai data sensitif. ab*.c*.salary: Menunjukkan bahwa semua field salary dalam tabel yang dimulai dengan c di proyek yang dimulai dengan ab diidentifikasi sebagai data sensitif. cd.ef.sa*ry : Menunjukkan bahwa dalam proyek yang diakhiri dengan cd, semua field yang dimulai dengan sa dan diakhiri dengan ry dalam tabel yang dimulai dengan ef akan diidentifikasi sebagai data sensitif.
   Field Annotation Identification	Mengidentifikasi komentar suatu field. Misalnya, Anda dapat mengonfigurasi "phone number" dan "contact info" sebagai kata kunci komentar untuk tipe field sensitif nomor telepon. Ketika sistem mendeteksi field yang komentarnya mengandung "contact info", layanan tersebut mengidentifikasi field tersebut sebagai nomor telepon. Masukkan komentar field di kotak teks. Komentar dapat memiliki panjang hingga 100 karakter dan tidak memiliki batasan karakter. Anda dapat menambahkan hingga 10 kotak teks.
   Field exclusion	Masukkan field-field yang ingin dikecualikan di kotak input. Field yang sesuai dengan aturan pengecualian field tidak akan dicocokkan oleh aturan identifikasi ini. Anda dapat mencocokkan beberapa field, dan mereka dievaluasi berdasarkan hubungan OR. Format input untuk sumber data yang berbeda adalah sebagai berikut: EMR, CDH, dan MaxCompute: project.table.column Hologres: instance_id.project.table.column Anda dapat menggunakan tanda bintang (*) sebagai wildcard di bagian mana pun dari format tersebut. Contoh: a.b.*: Menunjukkan bahwa semua field dalam tabel b proyek a akan diidentifikasi sebagai data sensitif. ab*.c*.salary: Menunjukkan bahwa semua field salary dalam tabel yang dimulai dengan c di proyek yang dimulai dengan ab diidentifikasi sebagai data sensitif. cd.ef.sa*ry : Menunjukkan bahwa dalam proyek yang diakhiri dengan cd, semua field yang dimulai dengan sa dan diakhiri dengan ry dalam tabel yang dimulai dengan ef akan diidentifikasi sebagai data sensitif.
   Hit rate configuration	Pengaturan ini memungkinkan Anda menyesuaikan laju pencocokan. Ini menentukan persentase minimum data tidak kosong dalam suatu field yang harus sesuai dengan kondisi Data Content Identification agar aturan dipicu. Misalnya, 50%. Nilai default adalah 50%. Laju pencocokan dihitung menggunakan rumus berikut: 100% * (Jumlah entri data yang cocok dalam field) / (Total jumlah entri data dalam field). Catatan Laju pencocokan hanya berlaku untuk aturan Data Content Identification.

4. Publikasikan aturan deteksi data.

   Klik Publish untuk mempublikasikan aturan deteksi data saat ini. Setelah aturan dipublikasikan, Anda dapat menggunakannya dalam tugas deteksi untuk mengidentifikasi data sensitif yang sesuai.

Langkah 3: Otorisasi dan mulai tugas deteksi

Setelah Anda mengonfigurasi aturan deteksi data, otorisasi dan mulai tugas deteksi data sensitif, yang kemudian akan mengidentifikasi data sensitif dalam tenant Anda berdasarkan aturan tersebut.

1. Otorisasi tugas deteksi data sensitif.

   Pertama kali Anda memulai tugas deteksi data sensitif, klik Authorize Now di pojok kiri atas halaman Sensitive Data Detection dan ikuti petunjuk di layar untuk memberikan izin.

   Catatan

   Setelah tugas deteksi data sensitif dimulai, Anda dapat mengklik Authorization Records di pojok kanan atas halaman Sensitive Data Detection untuk melihat detail otorisasi.

2. Mulai tugas deteksi data sensitif.

   1. Konfigurasikan tugas deteksi data sensitif.

      Saat mengonfigurasi tugas deteksi data sensitif, Anda perlu menentukan tipe tugas, metode pemindaian, dan cakupan. Anda dapat mengonfigurasi tugas real-time, tugas terjadwal, atau membuat tugas deteksi baru secara manual.

      1. Konfigurasikan tugas real-time.

         Tabel berikut menjelaskan parameter-parameter tersebut.

         Parameter	Deskripsi
         Detection account	Tentukan apakah akan menggunakan Akun Alibaba Cloud atau Pengguna RAM untuk mengambil sampel dan memindai data. Cakupan data yang dapat diambil sampelnya bervariasi tergantung pada izin akun yang dipilih. Catatan Jika Anda menggunakan Pengguna RAM untuk deteksi, Pengguna RAM tersebut harus memiliki izin pada proyek MaxCompute.
         Real-time detection	Hanya ODPS yang mendukung deteksi real-time. Ketika metadata ODPS berubah, seperti saat tabel atau field baru ditambahkan atau field diubah, Data Security Guard secara otomatis memulai tugas deteksi untuk metadata yang dimodifikasi. Data Security Guard mengambil informasi perubahan metadata secara real-time. Jika perubahan disebabkan oleh tabel atau field baru, data tersebut mungkin belum berisi data. Dalam kasus ini, layanan hanya menggunakan metadata untuk identifikasi data sensitif.

      2. Konfigurasikan tugas terjadwal. Tabel berikut menjelaskan parameter-parameter tersebut.

         Parameter	Deskripsi
         Execution	Anda harus mengaktifkan tugas secara manual.
         Scan and update policy for subsequent detection tasks	Tersedia dua opsi berikut: Pindai ulang dan perbarui hasil hanya untuk aturan yang berubah, data yang terpengaruh oleh perubahan tersebut, dan data yang tidak memiliki hasil sebelumnya. Pindai ulang semua data dan timpa semua hasil yang ada. Anda dapat memilih kotak centang untuk mencegah layanan menimpa hasil yang telah dikoreksi secara manual.
         Detection account	Tentukan apakah akan menggunakan Alibaba Cloud Account atau Sub-account untuk mengambil sampel dan memindai data. Cakupan data yang dapat diambil sampel dan dipindai bervariasi tergantung pada izin akun yang dipilih. Catatan Jika Anda menggunakan Pengguna RAM untuk pengambilan sampel dan pemindaian, Pengguna RAM tersebut harus memiliki izin pada proyek MaxCompute.
         Content identification	Tentukan apakah akan mengaktifkan Content Identification dan Metadata Identification. Aturan yang sesuai hanya berlaku ketika opsi ini dipilih. Catatan Jika Anda tidak mengaktifkan Content Identification, Data Security Guard tidak akan mengambil sampel atau memindai data Anda. Aturan identifikasi konten tidak akan berlaku, tetapi aturan nama field dan komentar field tetap aktif.
         Sampling quantity	Tentukan jumlah entri data yang akan diambil sampelnya untuk identifikasi konten. Kami merekomendasikan nilai lebih dari 100. Parameter ini wajib diisi ketika Content Identification diaktifkan.
         Scan frequency dan Scan time	Tentukan siklus pemindaian untuk tugas terjadwal. Parameter ini wajib diisi hanya ketika Task type diatur ke Scheduled Task. Anda dapat mengatur Scan Frequency menjadi Once a week atau Once a day. Untuk pemindaian mingguan, Anda dapat memilih hari apa saja dari Monday to Friday. Rentang waktu adalah 00:00 hingga 23:59.
         Scan scope	Konfigurasikan cakupan data untuk tugas deteksi data sensitif. Full Backup: Memindai semua data yang dapat diakses oleh akun yang telah diotorisasi dalam tenant saat ini. Partial Data: Memindai data tabel dalam proyek yang ditentukan. Catatan Secara default, cakupan mencakup semua proyek di seluruh engine data. Saat ini Anda dapat memindai tabel tertentu dalam proyek ODPS, EMR, dan Hologres. Nama tabel dapat memiliki panjang hingga 100 karakter. Semua jenis karakter didukung. Jika Anda membiarkan bidang ini kosong, semua tabel akan dipindai. Wildcard .* didukung. Misalnya, .*name mencocokkan tabel yang diakhiri dengan name, dan private.* mencocokkan tabel yang dimulai dengan private. Gunakan koma (,) untuk memisahkan beberapa nama tabel atau field. Jika Anda memilih Partial Data, Anda dapat menambahkan beberapa cakupan pemindaian proyek atau database. Cakupan pemindaian akhir adalah gabungan dari semua cakupan yang ditentukan. Anda harus memilih proyek secara manual dari panel sebelah kiri. Setelah memilih proyek, tabel dalam cakupan tersebut akan ditampilkan di sebelah kanan. Anda dapat memilih tabel secara manual atau memilih semuanya. Secara default, semua tabel dalam cakupan yang dipilih disertakan. Pencarian kata kunci didukung untuk cakupan proyek/database maupun tabel. Untuk mencari tabel, Anda harus terlebih dahulu memilih proyek, lalu melakukan pencarian dalam proyek tersebut.

      3. Konfigurasikan tugas manual, yang membuat tugas deteksi baru. Tabel berikut menjelaskan parameter-parameter tersebut.

         Parameter	Deskripsi
         Scan and update policy for the detection task	Tersedia dua opsi berikut: Pindai ulang dan perbarui hasil hanya untuk aturan yang berubah, data yang terpengaruh oleh perubahan tersebut, dan data yang tidak memiliki hasil sebelumnya. Pindai ulang semua data dan timpa semua hasil yang ada. Anda dapat memilih kotak centang untuk mencegah layanan menimpa hasil yang telah dikoreksi secara manual.
         Detection account	Tentukan apakah akan menggunakan Alibaba Cloud Account atau Sub-account untuk mengambil sampel dan memindai data. Cakupan data yang dapat diambil sampel dan dipindai bervariasi tergantung pada izin akun yang dipilih. Catatan Jika Anda menggunakan Pengguna RAM untuk pengambilan sampel dan pemindaian, Pengguna RAM tersebut harus memiliki izin pada proyek MaxCompute.
         Content identification	Tentukan apakah akan mengaktifkan Content Identification dan Metadata Identification. Aturan yang sesuai hanya berlaku ketika opsi ini dipilih. Catatan Jika Anda tidak mengaktifkan Content Identification, Data Security Guard tidak akan mengambil sampel atau memindai data Anda. Aturan identifikasi konten tidak akan berlaku, tetapi aturan nama field dan komentar field tetap aktif.
         Sampling quantity	Tentukan jumlah entri data yang akan diambil sampelnya untuk identifikasi konten. Kami merekomendasikan nilai lebih dari 100. Parameter ini wajib diisi ketika Content Identification diaktifkan.
         Scan scope	Konfigurasikan cakupan data untuk tugas deteksi data sensitif. Full Backup: Memindai semua data yang dapat diakses oleh akun yang telah diotorisasi dalam tenant saat ini. Partial Data: Memindai data tabel dalam proyek yang ditentukan. Catatan Secara default, cakupan mencakup semua proyek di seluruh engine data. Saat ini Anda dapat memindai tabel tertentu dalam proyek ODPS, EMR, dan Hologres. Nama tabel dapat memiliki panjang hingga 100 karakter. Semua jenis karakter didukung. Jika Anda membiarkan bidang ini kosong, semua tabel akan dipindai. Wildcard .* didukung. Misalnya, .*name mencocokkan tabel yang diakhiri dengan name, dan private.* mencocokkan tabel yang dimulai dengan private. Gunakan koma (,) untuk memisahkan beberapa nama tabel atau field. Jika Anda memilih Partial Data, Anda dapat menambahkan beberapa cakupan pemindaian proyek atau database. Cakupan pemindaian akhir adalah gabungan dari semua cakupan yang ditentukan. Anda harus memilih proyek secara manual dari panel sebelah kiri. Setelah memilih proyek, tabel dalam cakupan tersebut akan ditampilkan di sebelah kanan. Anda dapat memilih tabel secara manual atau memilih semuanya. Secara default, semua tabel dalam cakupan yang dipilih disertakan. Pencarian kata kunci didukung untuk cakupan proyek/database maupun tabel. Untuk mencari tabel, Anda harus terlebih dahulu memilih proyek, lalu melakukan pencarian dalam proyek tersebut.

   2. Klik Enable untuk memulai tugas pemindaian.

      Setelah tugas dimulai, Node Status berubah sebagai berikut:

      1. Tugas real-time: Status berubah menjadi Enabling.

      2. Tugas terjadwal: Status berubah menjadi Enabling. Layanan memulai tugas deteksi pada waktu yang dikonfigurasi.

      3. Tugas deteksi baru: Bilah kemajuan muncul. Pemindaian selesai ketika kemajuan mencapai 100%. Kemajuan dihitung sebagai berikut: (Jumlah tabel yang dipindai dalam tugas saat ini / Total jumlah tabel yang akan dipindai dalam tugas saat ini) × 100%.

      Catatan

      1. Jika Anda mengubah aturan deteksi, perubahan tersebut berlaku pada pemindaian terjadwal berikutnya. Untuk segera memicu aturan baru, Anda harus membuat tugas deteksi baru secara manual.

      2. Setelah tugas pemindaian selesai, Node Status diperbarui menjadi No Task.

Kelola aturan deteksi data

• Copy a rule: Untuk menyalin aturan yang ada dengan cepat, klik ikon . Nama aturan baru secara default memiliki akhiran -copy, dan statusnya adalah Draft. Anda dapat mengonfigurasinya sesuai kebutuhan.

• Edit a rule: Untuk mengubah informasi aturan, klik ikon .

  Catatan

  • Anda tidak dapat mengubah informasi dasar aturan yang dikonfigurasi berdasarkan tipe field sensitif bawaan.

  • Setelah aturan diubah, hasil identifikasi untuk field yang sebelumnya sesuai dengan aturan tersebut akan dihapus.

• Delete a rule: Jika aturan tidak lagi diperlukan, klik ikon untuk menghapusnya.

  Penting

  Menghapus aturan deteksi untuk tipe field sensitif memiliki dampak signifikan. Tinjau dengan cermat konsekuensi berikut sebelum mengonfirmasi penghapusan:

  • Catatan tipe field sensitif ini dihapus dari hasil deteksi. Untuk informasi lebih lanjut, lihat Lihat dan koreksi secara manual hasil deteksi data sensitif.

  • Informasi distribusi data sensitif di Data Discovery tidak lagi mencakup statistik untuk tipe field sensitif ini. Untuk informasi lebih lanjut, lihat Sensitive Data Overview.

  • Tipe field sensitif dihapus dari aturan identifikasi risiko apa pun yang mereferensinya. Untuk informasi lebih lanjut, lihat Kelola aturan identifikasi risiko.

• Batch Publish rules: Aturan harus dipublikasikan sebelum dapat digunakan untuk mengidentifikasi data sensitif. Jika Anda memiliki banyak aturan, Anda dapat mempublikasikannya secara batch.

  1. Pada halaman aturan deteksi data, klik Batch Publish dan pilih aturan yang ingin dipublikasikan.

     Catatan

     Anda hanya dapat memilih aturan yang berada dalam status Draft.

  2. Klik Deploy. Setelah aturan dipublikasikan, statusnya berubah menjadi Yes.

     Catatan

     Untuk membatalkan, klik Cancel. Aturan kembali ke status Draft.

• Invalidasi aturan secara batch: Setelah diinvalidasi, aturan tersebut tidak lagi digunakan untuk mendeteksi tipe bidang sensitif yang sesuai. Catatan mengenai tipe bidang sensitif ini akan dihapus dari modul seperti Data Discovery dan koreksi manual. Sebelum menginvalidasi aturan, pastikan apakah tipe bidang sensitif tersebut direferensikan oleh data masking rules atau Risk identification rules. Jika ya, Anda harus terlebih dahulu menginvalidasi data masking rule dan menghapus referensi dari Risk identification rules. Untuk informasi selengkapnya, lihat Buat aturan penyamaran data dan Kelola aturan identifikasi risiko.

  1. Pada halaman aturan deteksi data, klik Batch Invalidate dan pilih aturan yang ingin dibatalkan validasinya.

     Catatan

     Anda hanya dapat memilih aturan yang berada dalam status Yes.

  2. Klik Batch Invalidate. Setelah aturan dibatalkan validasinya, statusnya berubah menjadi Draft.

     Catatan

     Untuk membatalkan, klik Cancel. Aturan kembali ke status Yes.

Lihat catatan eksekusi tugas

Halaman Sensitive Data Detection > Identify Tasks > Task Execution Records mencantumkan tugas yang telah selesai dalam seminggu terakhir, tetapi tidak mencantumkan tugas yang sedang berlangsung. Anda dapat melihat detail seperti Start time, End Time, Runtime, Task type, Owner, dan Data Scope.