DataWorks menyediakan pengembangan dan tata kelola data end-to-end melalui proses terpadu yang memungkinkan Anda menerapkan manajemen proses pada tahapan kunci guna memenuhi kebutuhan bisnis.
Batasan
Fitur ini hanya tersedia di DataWorks Enterprise Edition dan versi yang lebih baru.
Cara kerja
DataWorks menyediakan ruang kerja dalam dua mode: mode standar dan mode dasar. Setiap mode memiliki alur pengembangan node yang berbeda. Diagram berikut menggambarkan alur kerja pengembangan data untuk masing-masing mode.
Alur kerja pengembangan node di ruang kerja mode standar
Alur kerja pengembangan node di ruang kerja mode dasar
Anda dapat menerapkan manajemen proses pada tahapan kunci alur kerja, seperti sebelum debugging node, saat menyebar node ke lingkungan pengembangan, dan saat menyebar node ke lingkungan produksi.
Tahap | Contoh pemeriksaan |
Sebelum node dijalankan | Di panel Debugging Configurations di sebelah kanan, di bawah DataWorks Configuration, atur kelompok sumber daya menjadi Serverless_Resource_Group dan kuota komputasi menjadi Default post-paid Quota. Di editor, masukkan Pernyataan SQL |
Sebelum node diterapkan ke lingkungan pengembangan | Saat Anda menerapkan node, sistem menjalankan Development Checker untuk meninjau kode SQL. Klik langkah Development Checker dalam alur penyebaran. Panel Operation Checks di sebelah kiri menampilkan catatan pemeriksaan dan statusnya. Klik catatan tersebut untuk membuka panel Check Details, tempat Anda dapat melihat hasil setiap item pemeriksaan, seperti Full Table Scan Check dan High-Cost SQL Check. Untuk item pemeriksaan dengan status Warning, Anda dapat mengklik Mark as Passed untuk menyetujui secara manual. |
Sebelum node diterapkan ke lingkungan produksi | Pada langkah Production Checker dalam pipeline penyebaran, Anda dapat mengklik View Details atau Initiate Code Review. Panel kiri mencantumkan catatan SQL yang akan diterapkan, seperti testSQL. Klik catatan tersebut untuk membuka panel Check Details yang sesuai di sebelah kanan. Setelah memastikan semua pemeriksaan telah lolos, Anda dapat melanjutkan penyebaran. |
Fitur seperti Open Platform dan Data Asset Governance memungkinkan Anda menerapkan pemeriksaan validasi pada tahapan kunci proses pengembangan data.
Modul fitur | Pemeriksaan sebelum dijalankan | Pemeriksaan sebelum penyebaran ke dev | Pemeriksaan sebelum penyebaran ke prod | Manajemen proses |
Data Asset Governance |
|
|
| Data Asset Governance di DataWorks menyediakan beberapa item pemeriksaan bawaan. Anda dapat mengaktifkan item pemeriksaan ini sesuai kebutuhan bisnis Anda. Setelah diaktifkan, operasi yang sesuai secara otomatis memicu logika validasi bawaan DataWorks. Proses hanya dilanjutkan setelah pemeriksaan selesai. |
Open Platform |
|
|
| Jika item pemeriksaan bawaan tidak memenuhi kebutuhan manajemen proses Anda, Anda dapat menggunakan Open Platform untuk mengembangkan program validasi sendiri untuk event tertentu dan mengintegrasikannya ke dalam alur kerja pengembangan data. |
Bagian berikut menggunakan alur kerja di ruang kerja mode standar sebagai contoh untuk menjelaskan kemampuan manajemen proses ini.
Pemeriksaan bawaan: Data Asset Governance
Data Asset Governance di DataWorks menyediakan sejumlah item pemeriksaan bawaan yang dapat Anda aktifkan sesuai kebutuhan. Saat melakukan operasi terkait, sistem akan memicu logika validasi bawaan, dan proses hanya dilanjutkan setelah operasi lolos semua pemeriksaan.
Di panel navigasi kiri Data Asset Governance, pilih Governance Settings > Check Items untuk membuka halaman Check Item Configuration. Klik tab R&D. Di kolom Effective Checkpoint, identifikasi titik pemicu untuk item pemeriksaan. Di kolom Enable, alihkan sakelar untuk mengaktifkan atau menonaktifkan item pemeriksaan yang sesuai.
Untuk debugging node: Aktifkan item pemeriksaan dengan Effective Checkpoint Pre-event for Code Running.
Untuk penyebaran node ke lingkungan pengembangan: Aktifkan item pemeriksaan dengan Effective Checkpoint Pre-event for Node Commit.
Untuk penyebaran node ke lingkungan produksi: Aktifkan item pemeriksaan dengan Effective Checkpoint Pre-event for Node Deployment.
Konfigurasi
Anda perlu mengaktifkan item pemeriksaan di Data Asset Governance dan menentukan ruang kerja tempat item tersebut berlaku. Untuk petunjuk umum, lihat Konfigurasikan item tata kelola.
Sesuaikan logika validasi: Open Platform
Jika item pemeriksaan bawaan tidak memenuhi kebutuhan Anda, Anda dapat menggunakan Open Platform untuk mengembangkan program validasi kustom untuk event tertentu dan mengintegrasikannya ke dalam alur kerja pengembangan data.
OpenEvent memungkinkan Anda berlangganan pesan event untuk operasi pengguna di Data Studio. Setelah menerima pesan event, Extensions memungkinkan Anda membuat program validasi dan persetujuan kustom. Hasil persetujuan tersebut kemudian dapat dikirim kembali ke DataWorks melalui callback OpenAPI. Untuk informasi selengkapnya tentang OpenEvent dan Extensions, lihat Ikhtisar OpenEvent dan Ikhtisar Extensions.
Saat menggunakan Open Platform untuk berlangganan event dan memvalidasi operasi kunci di Data Studio, pelaksanaan operasi akan memicu proses validasi. Bagan alir berikut menunjukkan proses validasi untuk pemeriksaan sebelum dijalankan.
Konfigurasi
Anda perlu berlangganan event Data Studio di Open Platform, mengembangkan ekstensi untuk menangani event tersebut, menerbitkannya ke DataWorks, dan mengaktifkannya di ruang kerja yang diinginkan.
Untuk debugging node: Berlangganan dan proses event terkait eksekusi, seperti pre-event for file running.
Untuk penyebaran node ke lingkungan pengembangan: Berlangganan dan proses event terkait commit, seperti Pre-event for Node Commit dan pre-event for table commit.
Untuk penyebaran node ke lingkungan produksi: Berlangganan dan proses event terkait penyebaran, seperti Pre-event for Node Deployment dan pre-event for table deployment.
Untuk daftar jenis event yang didukung oleh Open Platform, lihat Ikhtisar Extensions.
Untuk petunjuk umum penggunaan Open Platform, lihat Kembangkan dan terapkan ekstensi menggunakan layanan yang dikelola sendiri.
Untuk praktik terbaik dalam skenario manajemen proses khas, lihat topik berikut: