DataWorks：Tata Kelola Aset Data

Batasan

• Edisi

  Hanya Edisi Enterprise DataWorks atau edisi yang lebih canggih yang mendukung Tata Kelola Aset Data. Untuk informasi tentang edisi DataWorks, lihat Perbedaan antar edisi DataWorks. Untuk informasi tentang cara mengaktifkan DataWorks, lihat Panduan Pembelian.

• Wilayah

  Tata Kelola Aset Data tersedia di wilayah-wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).

• Izin

  • Tabel berikut menjelaskan izin yang dimiliki setiap peran pada Tata Kelola Aset Data.

    Peran	Izin	Referensi
    Administrator tata kelola data tingkat penyewa	Seorang administrator tata kelola data tingkat penyewa dapat melihat laporan tata kelola, masalah tata kelola, dan acara pemeriksaan dari dimensi global serta melakukan operasi perbaikan terkait.	Untuk informasi tentang cara memberikan izin kepada pengguna, lihat bagian Kelola peran tingkat penyewa dalam topik Mengelola izin layanan tingkat global. Untuk informasi lebih lanjut tentang izin administrator tata kelola data, lihat bagian Tata Kelola Data dalam topik Izin peran tingkat ruang kerja bawaan.
    Administrator ruang kerja	Seorang administrator ruang kerja dapat melihat laporan tata kelola dari dimensi workspace. Jika ingin melihat laporan tata kelola dalam ruang kerja dari dimensi ruang kerja, Anda harus menjadi administrator ruang kerja tersebut.	Untuk informasi tentang cara memberikan izin kepada pengguna, lihat bagian Tambahkan pengguna RAM ke ruang kerja sebagai anggota dan tetapkan peran kepada anggota dalam topik Mengelola izin layanan tingkat ruang kerja. Untuk informasi tentang cara melihat laporan tata kelola, lihat bagian Lihat laporan tata kelola dalam topik Lihat hasil tata kelola data.
    Administrator tata kelola data tingkat ruang kerja	Seorang administrator tata kelola data tingkat ruang kerja dapat melihat dan mengelola konten tata kelola data dari ruang kerja tempat peran tersebut berada. Catatan Peran ini tidak memiliki izin untuk melihat situasi tata kelola data dari semua ruang kerja di suatu wilayah dari dimensi global atau mengelola operasi tata kelola global, seperti mengaktifkan item pemeriksaan di tingkat global. Jika ingin mengizinkan pengguna Resource Access Management (RAM) melakukan operasi tata kelola global, tetapkan peran Administrator Tata Kelola Data di tingkat penyewa kepada pengguna RAM. Untuk informasi lebih lanjut, lihat Peran Administrator Tata Kelola Data di tingkat penyewa.	Untuk informasi tentang cara memberikan izin kepada pengguna, lihat bagian Tambahkan pengguna RAM ke ruang kerja sebagai anggota dan tetapkan peran kepada anggota dalam topik Mengelola izin layanan tingkat ruang kerja. Untuk informasi tentang fitur yang didukung oleh peran administrator tata kelola data tingkat ruang kerja, lihat bagian Tata Kelola Data dalam topik Izin peran tingkat ruang kerja bawaan.
    Pengguna umum	Pengguna umum adalah personel yang menangani masalah yang terdeteksi dalam Tata Kelola Aset Data. Pengguna umum dapat melihat acara pemeriksaan dan masalah tata kelola dari dimensi pribadi serta melakukan operasi perbaikan. Jika ingin melakukan operasi perbaikan pada masalah yang terdeteksi dalam ruang kerja penyewa, Anda harus ditambahkan ke ruang kerja sebagai anggota. Catatan Secara default, kecuali akun Alibaba Cloud dan pengguna RAM yang diberi kebijakan AliyunDataWorksFullAccess, semua pengguna lainnya adalah pengguna umum dalam suatu penyewa.	Untuk informasi tentang cara memberikan izin kepada pengguna, lihat bagian Tambahkan pengguna RAM ke ruang kerja sebagai anggota dan tetapkan peran kepada anggota dalam topik Mengelola izin layanan tingkat ruang kerja.

  • Hanya akun Alibaba Cloud dan pengguna RAM yang diberi kebijakan AliyunDataWorksFullAccess yang dapat menggunakan semua fitur Tata Kelola Aset Data. Jika ingin menggunakan semua fitur Tata Kelola Aset Data sebagai pengguna RAM, Anda harus mengajukan izin yang diperlukan. Untuk informasi lebih lanjut, lihat bagian Berikan izin untuk melakukan operasi di DataWorks kepada pengguna RAM dalam topik Persiapkan pengguna RAM.

• Sumber data

  Hanya sumber data MaxCompute, E-MapReduce (EMR), dan Hologres yang mendukung Tata Kelola Aset Data.

  Catatan

  • Sebelum menggunakan sumber data Hologres dalam Tata Kelola Aset Data, Anda harus terlebih dahulu mengumpulkan metadata Hologres di Data Map. Untuk informasi lebih lanjut, lihat Pengumpulan metadata.

  • Sumber data Hologres didukung oleh Tata Kelola Aset Data hanya di wilayah-wilayah berikut: Tiongkok (Beijing), Tiongkok (Shanghai), Tiongkok (Hangzhou), dan Tiongkok (Shenzhen).

Logika tata kelola data

Tata Kelola Aset Data mendeteksi acara pemeriksaan berdasarkan item pemeriksaan sebelum tugas pengembangan data dikomit dan diterapkan. Setelah tugas-tugas tersebut dikomit dan diterapkan, Tata Kelola Aset Data mendeteksi masalah tata kelola berdasarkan item tata kelola. Hal ini membantu Anda menangani acara dan masalah yang terkait dengan data secara komprehensif. Jika pemeriksaan pada suatu item dipicu untuk suatu tugas dan tugas tersebut gagal dalam pemeriksaan, sebuah acara dihasilkan. Acara serius dapat menghalangi proses pengembangan data selanjutnya. Anda dapat melihat dan menangani acara tersebut di Tata Kelola Aset Data. Setelah acara ditangani dan tugas lolos pemeriksaan, Anda dapat melanjutkan ke proses pengembangan data selanjutnya. Gambar berikut menggambarkan logika tata kelola data.

DataWorks menyediakan ruang kerja dalam mode standar dan dasar. Proses pengembangan tugas bervariasi berdasarkan mode ruang kerja. Dalam topik ini, ruang kerja dalam mode standar digunakan untuk menunjukkan cara mengembangkan tugas. Proses pengembangan tugas aktual bervariasi berdasarkan mode ruang kerja Anda. Untuk informasi lebih lanjut tentang proses pengembangan umum dalam ruang kerja dalam mode berbeda, lihat DataStudio (versi lama).

• Jalankan pemeriksaan berdasarkan item pemeriksaan.

  Item pemeriksaan digunakan untuk memeriksa data terhadap pelanggaran item pemeriksaan sebelum tugas dikomit dan diterapkan. Sebelum mengomitm dan menerapkan tugas, Anda dapat memeriksa apakah tugas tersebut melanggar item pemeriksaan yang Anda tentukan untuk pengembangan tugas menggunakan item pemeriksaan. Jika sistem mendeteksi bahwa tugas tersebut melanggar item pemeriksaan, acara pemeriksaan dihasilkan untuk menghalangi proses pengembangan tugas selanjutnya. Anda dapat menangani masalah yang terkait dengan acara pemeriksaan. Dengan cara ini, proses pengembangan tugas dapat dieksekusi sesuai harapan.

• Jalankan pemeriksaan berdasarkan item tata kelola.

  Item tata kelola digunakan untuk mengelola dan mengatur tugas setelah tugas-tugas tersebut dikomit dan diterapkan. Setelah tugas dikomit dan diterapkan, Anda dapat melihat masalah tata kelola dari dimensi global, individual, atau workspace di Tata Kelola Aset Data. Insinyur tata kelola data dapat menangani masalah tata kelola yang terdeteksi dan mengambil tindakan sedini mungkin untuk mencapai tujuan tata kelola data.

Proses tata kelola data

1. Konfigurasikan alat tata kelola.

   • Aktifkan template rencana tata kelola dan konfigurasikan item kustom.

     Operasi	Deskripsi	Referensi
     Konfigurasikan item pemeriksaan kustom	Jika item pemeriksaan yang disediakan dalam template tidak memenuhi persyaratan bisnis Anda, Anda dapat mengonfigurasi item pemeriksaan kustom berdasarkan persyaratan bisnis Anda. Buat item pemeriksaan untuk ekstensi kustom yang terdaftar. DataWorks juga memungkinkan Anda membuat item pemeriksaan di Tata Kelola Aset Data untuk ekstensi kustom. Setelah Anda membuat item pemeriksaan tersebut, Tata Kelola Aset Data mendeteksi acara pemeriksaan yang dipicu oleh ekstensi kustom. Nonaktifkan item pemeriksaan. Jika template rencana tata kelola berisi item pemeriksaan yang tidak diperlukan untuk suatu ruang kerja, Anda dapat menonaktifkan item pemeriksaan untuk ruang kerja tersebut. Setelah Anda menonaktifkan item pemeriksaan, Tata Kelola Aset Data tidak lagi mendeteksi acara pemeriksaan yang dipicu oleh item pemeriksaan di ruang kerja yang ditentukan.	Konfigurasikan item pemeriksaan
     Konfigurasikan item tata kelola kustom	Jika template rencana tata kelola berisi item tata kelola yang tidak diperlukan untuk suatu ruang kerja, Anda dapat membuat aturan untuk menonaktifkan item tata kelola di ruang kerja yang ditentukan. Setelah Anda menonaktifkan item tata kelola, Tata Kelola Aset Data tidak lagi mendeteksi masalah tata kelola berdasarkan item tata kelola di ruang kerja yang ditentukan. Masalah tata kelola yang terdeteksi tidak ditampilkan di tab Masalah Tata Kelola. Catatan Anda hanya dapat menonaktifkan item tata kelola opsional. Anda tidak dapat menonaktifkan item tata kelola wajib atau membuat item tata kelola.	Konfigurasikan item tata kelola

   • Opsional. Konfigurasikan unit tata kelola.

     DataWorks memungkinkan Anda melakukan tata kelola data pada beberapa ruang kerja secara terpusat dengan membuat unit tata kelola berdasarkan persyaratan bisnis Anda. Kemudian, Anda dapat melihat statistik skor kesehatan keseluruhan, masalah tata kelola, dan acara pemeriksaan untuk ruang kerja dalam unit tata kelola. Untuk informasi lebih lanjut tentang cara membuat dan mengelola unit tata kelola, lihat Konfigurasikan unit tata kelola.

   • Opsional. Konfigurasikan metode notifikasi masalah.

     Jika ingin sistem memberi tahu personel tertentu tentang masalah yang terdeteksi menggunakan pesan sistem, email, pesan grup DingTalk, dan URL webhook, Anda dapat mengonfigurasi metode notifikasi masalah. Dengan cara ini, personel yang ditentukan dapat melihat dan menangani masalah tersebut sedini mungkin. Untuk informasi lebih lanjut, lihat Konfigurasikan pengaturan notifikasi.

2. Mulai pemeriksaan dan tangani masalah tata kelola yang terdeteksi.

   • Periksa data terhadap pelanggaran item pemeriksaan sebelum data dikomit dan diterapkan.

     DataWorks melakukan pemeriksaan berdasarkan item pemeriksaan. Sebelum data dikomit dan diterapkan, DataWorks memeriksa data berdasarkan item pemeriksaan. Jika data melanggar item pemeriksaan, acara pemeriksaan dihasilkan. Kemudian, Anda dapat melihat dan menangani acara pemeriksaan. Untuk informasi lebih lanjut, lihat Tangani acara pemeriksaan.

   • Jalankan pemeriksaan setelah penyebaran tugas.

     DataWorks mendeteksi masalah tata kelola berdasarkan item tata kelola. Setelah data dikomit dan diterapkan, DataWorks mendeteksi masalah tata kelola berdasarkan item tata kelola. Kemudian, Anda dapat melihat dan menangani masalah tata kelola. Untuk informasi lebih lanjut, lihat Tangani acara pemeriksaan.

   • Jalankan pemeriksaan asset 360.

     Anda dapat menggunakan fitur asset 360 untuk mendeteksi, melihat, dan menangani masalah tata kelola pada tugas dan tabel tertentu. Untuk informasi lebih lanjut, lihat Asset 360.

   • Lakukan tata kelola otomatis tampilan materialisasi.

     Tata Kelola Aset Data mendukung tampilan materialisasi berdasarkan tata kelola otomatis dan rekomendasi cerdas. Ini adalah solusi cerdas dan otomatis untuk tugas komputasi data besar yang perlu sering menangani sejumlah besar subquery serupa. Untuk informasi lebih lanjut, lihat Tampilan Materialisasi.

   Jika masalah tidak valid terdeteksi dalam proses ini, Anda dapat menambahkan masalah tersebut ke daftar putih atau menghapus tugas atau tabel terkait yang memiliki masalah tidak valid. Untuk informasi lebih lanjut, lihat Tambahkan masalah tata kelola tidak valid ke daftar putih dan Penghapusan yang aman.

3. Pilih dimensi analitik.

   • Berdasarkan skenario penggunaan: DataWorks menyediakan berbagai dimensi seperti produksi data, penggunaan data, dan manajemen data untuk membantu Anda menganalisis efektivitas tata kelola data dan mengelola data secara efisien.

   • Berdasarkan penggunaan sumber daya yang rasional: DataWorks menyediakan statistik konsumsi sumber daya dan status jalannya tugas, jumlah dan status penyimpanan tabel MaxCompute, serta gambaran umum dan rincian penggunaan sumber daya. Pengembang data dan administrator dapat melihat dan menganalisis situasi sumber daya keseluruhan ruang kerja serta menggunakan sumber daya secara rasional berdasarkan statistik. Untuk informasi lebih lanjut tentang analisis aset, lihat Analisis aset.

4. Lihat hasil tata kelola.

   Setelah menangani masalah tata kelola, Anda dapat memilih Overview > Workbench di panel navigasi sisi kiri untuk pergi ke halaman Workbench guna melihat hasil tata kelola operasi yang Anda lakukan dari berbagai dimensi. Anda dapat menganalisis hasil tata kelola untuk mengidentifikasi dimensi dan jenis masalah tata kelola yang sering terjadi. Hal ini membantu Anda mengambil tindakan untuk menangani masalah tata kelola dan mencapai tujuan tata kelola data.

   Tata Kelola Aset Data menghitung skor kesehatan berdasarkan item tata kelola menggunakan model penilaian kesehatan. Anda dapat melihat skor kesehatan pada laporan tata kelola dan papan peringkat tata kelola untuk mengetahui hasil tata kelola. Skor kesehatan yang lebih tinggi menunjukkan hasil tata kelola yang lebih baik. Untuk informasi lebih lanjut tentang skor kesehatan, lihat bagian Penilaian kuantitatif: skor kesehatan dalam topik Ikhtisar.

Penilaian kuantitatif: skor kesehatan

Skor kesehatan dihitung berdasarkan metadata terkait perilaku pengguna, fitur data, dan jenis tugas dari aset data Anda dalam proses produksi, transmisi, dan manajemen. Teknologi seperti pemrosesan data dan pembelajaran mesin digunakan untuk menghitung skor kesehatan. Anda dapat melihat skor kesehatan aset data Anda dari dimensi pribadi atau ruang kerja. Tata Kelola Aset Data menyediakan skor kesehatan dalam dimensi berikut berdasarkan metadata yang berbeda: penyimpanan, komputasi, R&D, kualitas, dan keamanan.

Skor kesehatan berkisar dari 0 hingga 100. Skor yang lebih tinggi menunjukkan aset data yang lebih sehat. Hal ini membantu Anda menggunakan data secara aman, efisien, dan stabil serta memastikan produksi data dan operasi bisnis. Tata Kelola Aset Data menggunakan model penilaian kesehatan bawaan untuk melakukan penilaian kuantitatif pada efektivitas tata kelola data akun Anda dan menghasilkan skor kesehatan keseluruhan serta skor kesehatan untuk setiap dimensi tata kelola. Skor kesehatan yang lebih tinggi menunjukkan efektivitas tata kelola yang lebih baik. Tabel berikut menjelaskan tingkat penilaian dan rentang skor kesehatan untuk setiap tingkat.

• Luar biasa: [90, 100]

• Baik: [75, 90)

• Cukup: [60, 75)

• Perlu perbaikan: [30, 60)

• Buruk: [0, 30)

Istilah

• Check item: Item pemeriksaan adalah mekanisme tata kelola aktif yang bekerja pada proses produksi data. Anda dapat menggunakan item pemeriksaan untuk memeriksa tugas terhadap pelanggaran item pemeriksaan sebelum memulai atau menerapkan tugas untuk mengidentifikasi masalah potensial seperti pemindaian tabel penuh atau ketergantungan penjadwalan yang tidak ada. Jika konten yang melanggar item pemeriksaan terdeteksi, sistem menghasilkan acara pemeriksaan dan menangkap serta menangani konten tersebut. Item pemeriksaan membantu Anda membatasi dan mengelola proses pengembangan data serta memastikan standardisasi dan normalisasi pemrosesan data.

• Governance item: Item tata kelola digunakan oleh DataWorks untuk mendeteksi masalah yang perlu dioptimalkan atau diselesaikan dalam aset data selama tata kelola data, seperti pelanggaran terhadap spesifikasi R&D dan masalah dalam kualitas data, kepatuhan keamanan, dan pemanfaatan sumber daya. Item tata kelola diklasifikasikan menjadi item tata kelola wajib dan item tata kelola opsional. Secara default, item tata kelola wajib diaktifkan secara global dan tidak dapat dinonaktifkan. Anda dapat mengaktifkan item tata kelola opsional berdasarkan persyaratan bisnis Anda. Sebagai contoh, Anda dapat menggunakan item tata kelola untuk mendeteksi Tasks running time is too long, Continuous error nodes, atau No one visits leaf nodes.

• Governance issue: Masalah tata kelola dideteksi oleh DataWorks berdasarkan item tata kelola yang ditentukan dan menunggu untuk ditangani.

• Governance unit: Unit tata kelola terdiri dari satu atau lebih ruang kerja. Anda dapat melihat statistik skor kesehatan keseluruhan, masalah tata kelola, dan acara pemeriksaan dari ruang kerja dalam unit tata kelola.

• Governance plan: Tata Kelola Aset Data menyediakan template rencana tata kelola untuk berbagai skenario tata kelola, dengan fokus mencapai tujuan tata kelola yang telah ditentukan dalam periode tertentu. Template rencana tata kelola dapat digunakan untuk dengan cepat menentukan item tata kelola dan item pemeriksaan yang sangat relevan serta mengidentifikasi objek yang dapat dioptimalkan. Hal ini membantu pemilik tata kelola memantau efektivitas tata kelola data dengan cermat dan membantu tim mencapai tujuan tata kelola secara efisien dengan melakukan penilaian kuantitatif.

• Knowledge base: Basis pengetahuan menyediakan definisi item pemeriksaan dan item tata kelola bawaan di Tata Kelola Aset Data untuk membantu insinyur tata kelola data dengan cepat mengidentifikasi dan memahami masalah yang terjadi selama tata kelola data. Basis pengetahuan menyediakan solusi untuk masalah dan juga memberikan panduan operasi untuk membantu meningkatkan efisiensi tata kelola data.