Ekstensi DataWorks adalah plug-in yang bekerja dengan OpenAPI dan OpenEvent untuk menerapkan logika pemrosesan kustom pada operasi pengguna di DataWorks, seperti intersepsi dan pemblokiran. Sebagai contoh, Anda dapat mengembangkan ekstensi untuk kontrol perubahan tugas guna menerapkan proses penerapan tugas kustom.
Batasan
-
Hanya DataWorks Edisi Perusahaan yang didukung.
-
Wilayah yang didukung: Tiongkok (Beijing), Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Chengdu), AS (Silicon Valley), AS (Virginia), Jerman (Frankfurt), Jepang (Tokyo), Tiongkok (Hong Kong), Singapura.
Catatan
-
Kontrol akses: Hanya Open Platform Administrators dan Tenant Administrators, Akun Alibaba Cloud atau Pengguna RAM dengan izin AliyunDataWorksFullAccess yang memiliki izin baca dan tulis untuk backend developer. Untuk informasi selengkapnya, lihat Kontrol izin modul global dan Detail kontrol izin Produk dan Konsol: Kebijakan RAM.
-
Periode versi: Jika langganan DataWorks Edisi Perusahaan Anda berakhir, semua ekstensi menjadi tidak valid dan tidak dapat lagi memicu pemeriksaan event. Jika suatu ekstensi dipicu untuk memeriksa sebuah event namun belum menyelesaikan pemeriksaan saat langganan DataWorks Edisi Perusahaan berakhir, pemeriksaan tersebut dihentikan dan hasil Check Passed dikembalikan.
-
Batasan: Saat ini, hanya beberapa event titik ekstensi yang mendukung penerapan ekstensi melalui Function Compute.
Kemampuan produk
Modul Ekstensi dibangun di atas titik ekstensi yang disediakan oleh DataWorks Open Platform. Modul ini bekerja bersama modul OpenAPI dan OpenEvent untuk memungkinkan Anda mengelola operasi di DataWorks melalui logika pemrosesan kustom, seperti memblokir operasi tertentu.
Contoh skenario pengelolaan operasi dengan ekstensi:
-
Pengelolaan konvensi penamaan tabel atau tugas.
-
Pengelolaan tugas sinkronisasi data duplikat.
-
Pengelolaan biaya yang dihasilkan oleh tugas.
-
Pengelolaan dependensi antar tugas.
CatatanAnda dapat menerapkan lebih banyak skenario dengan merujuk pada jenis event di Referensi pengembangan: Daftar event dan format pesan.
Kontrol proses kustom: Ketika suatu operasi di DataWorks memicu event titik ekstensi yang terdaftar dalam suatu ekstensi, operasi tersebut dijeda hingga ekstensi mengembalikan hasil pemrosesannya.
Sebagai contoh: Di ruang kerja dalam mode standar, Anda dapat menambahkan ekstensi yang memeriksa fungsi tertentu ke dalam proses pengembangan dan penerbitan tugas asli. Hal ini mengubah alur tugas dari Development > Submit > Publish menjadi Development > Pre-submission verification > Submit > Pre-publishing check > Publish. Untuk contoh lengkap, lihat Praktik terbaik: (Penerapan fitur lanjutan) Larang penggunaan fungsi MAX_PT.
Proses pengembangan
Anda dapat mengembangkan dan menerapkan ekstensi melalui layanan mandiri atau Function Compute untuk menerapkan kontrol proses kustom di DataWorks.
-
Konfigurasikan pengaturan yang diperlukan di OpenEvent untuk mendorong pesan event: Pilih metode penerapan berdasarkan event titik ekstensi yang perlu diterima oleh bisnis Anda.
-
Kembangkan dan terapkan ekstensi menggunakan layanan mandiri: Metode ini bergantung pada EventBridge untuk distribusi pesan. Pastikan Anda telah menentukan event bus untuk pesan DataWorks dan mengonfigurasi layanan routing untuk pesan dalam event bus tersebut.
-
Kembangkan dan terapkan ekstensi menggunakan Function Compute: DataWorks secara default mendorong pesan ke fungsi Function Compute yang ditentukan. Tidak diperlukan konfigurasi event bus di OpenEvent.
-
-
Kembangkan dan terapkan ekstensi kustom: Terima dan urai pesan event dari DataWorks, terapkan logika kustom, lalu kembalikan hasilnya ke DataWorks.
-
Kembangkan dan terapkan ekstensi: Metode layanan mandiri: Gunakan program layanan tempat pesan akhirnya dirutekan dalam event bus untuk menerima pesan DataWorks, buat penilaian logis terhadap pesan tersebut, dan panggil balik hasil pemrosesan melalui API yang ditentukan.
-
Kembangkan dan terapkan ekstensi: Metode Function Compute: Anda perlu mengimplementasikan antarmuka spesifik Function Compute untuk menerima permintaan ekstensi dan mengembalikan hasil pemrosesan ekstensi.
-
-
Daftarkan ekstensi: Tentukan jenis pesan event apa saja yang akan diterima dan diproses oleh ekstensi.
-
Uji ekstensi: Verifikasi apakah ekstensi berfungsi sesuai harapan di ruang kerja pengujian.
-
Kirim dan terbitkan ekstensi: Setelah memverifikasi bahwa ekstensi berfungsi sesuai harapan, kirimkan untuk ditinjau oleh platform. Setelah disetujui, ekstensi tersebut diterbitkan agar dapat digunakan oleh semua ruang kerja.
Catatan-
Tinjauan ekstensi biasanya selesai dalam
T+3hari kerja. Harap bersabar. -
Pesan event DataWorks memiliki periode validitas tiga hari. Jika periode validitas terlampaui, pesan event dianggap kedaluwarsa dan tidak diproses oleh ekstensi.
-
Event titik ekstensi yang didukung
Tabel berikut mencantumkan event titik ekstensi yang didukung oleh setiap layanan DataWorks.
-
Saat mengembangkan dan menerapkan ekstensi, Anda perlu menggunakan eventcode untuk setiap titik ekstensi. Untuk kode event, lihat Referensi pengembangan: Daftar event dan format pesan.
-
Anda hanya dapat menerbitkan event titik ekstensi di ruang kerja dalam mode standar.
-
Untuk efek intersepsi titik ekstensi, lihat Contoh penerapan: Picu pemeriksaan event selama pengembangan data dan Contoh penerapan: Picu pemeriksaan event di Operation Center.
|
Cakupan aplikasi |
Modul sistem |
Jenis titik ekstensi |
Titik ekstensi |
OpenAPI untuk verifikasi hasil callback |
|
Tingkat ruang kerja |
Event perubahan file
|
Pre-event untuk penghapusan file |
Anda dapat menggunakan API UpdateIDEEventResult untuk memanggil balik hasil pemrosesan event ke DataWorks. |
|
|
Pre-event untuk commit file |
||||
|
Pre-event untuk penerbitan file |
||||
|
Pre-event untuk menjalankan kode |
||||
|
Event perubahan tabel |
Pre-event untuk pengiriman tabel ke produksi |
|||
|
Pre-event untuk pengiriman tabel ke pengembangan |
||||
|
Event perubahan node |
Aktifkan tugas |
Anda dapat menggunakan API CallbackExtension untuk memanggil balik hasil pemrosesan event ke DataWorks. |
||
|
Tugas real-time batch |
||||
|
Event perubahan node |
Pre-event untuk pembatalan penerbitan node |
Anda dapat menggunakan API UpdateWorkbenchEventResult untuk memanggil balik hasil pemrosesan event ke DataWorks. |
||
|
Pre-event untuk pembekuan node |
||||
|
Pra-event untuk membuka pembekuan node |
||||
|
Event operasi pengisian ulang data |
Pre-event untuk pengisian ulang data |
|||
|
Event perubahan instans |
Pra-event untuk pembekuan instance |
|||
|
Pre-event untuk pembatalan pembekuan instans |
||||
|
Pre-event untuk penghentian instans |
||||
|
Pre-event untuk menjalankan ulang instans |
||||
|
Pre-event untuk mengatur status instans menjadi sukses |
||||
|
Event Approval Center |
Pre-event untuk pembuatan permintaan izin |
Anda dapat menggunakan API CallbackExtension untuk memanggil balik hasil pemrosesan event ke DataWorks. |
||
|
Event verifikasi Data Quality |
Pre-event untuk pembuatan aturan Data Quality batch |
|||
|
Pre-event untuk pembaruan batch aturan Data Quality |
||||
|
Pre-event untuk pembaruan aturan Data Quality |
||||
|
Pre-event untuk penghapusan batch aturan Data Quality |
||||
|
Pre-event untuk pembuatan pemantauan Data Quality |
||||
|
Pre-event untuk pembaruan pemantauan Data Quality |
||||
|
Pre-event untuk kloning pemantauan Data Quality |
||||
|
Pre-event untuk pembuatan langganan notifikasi pemantauan Data Quality |
||||
|
Pre-event untuk penghapusan batch pemantauan Data Quality |
||||
|
Pre-event untuk pembaruan langganan notifikasi pemantauan Data Quality |
||||
|
Pre-event untuk penghapusan langganan notifikasi pemantauan Data Quality |
||||
|
Tingkat tenant |
Event perubahan ruang kerja |
Pre-event untuk penghapusan ruang kerja |
||
|
Event unduh data |
Pre-event untuk unduh data (pembuatan file) |
|||
|
Pre-event untuk unduh data (pengunduhan file) |
||||
|
Pre-event untuk unggah data |
Lampiran: Perbandingan dua metode penerapan
|
Layanan mandiri |
Function Compute |
|
|
Tingkat kesulitan operasi |
Prosedurnya kompleks, melibatkan penerapan server dan aplikasi, serta rentan terhadap masalah jaringan dan O&M. |
Prosedurnya sederhana. Anda dapat mengembangkan dan menerapkan ekstensi hanya dengan satu fungsi. |
|
Biaya |
- |
Metode ini dikenai biaya Function Compute. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
|
Event yang didukung |
Metode ini mendukung berbagai event ekstensi. Untuk informasi selengkapnya, lihat Referensi pengembangan: Daftar event dan format pesan. |
Metode penerapan berbasis Function Compute hanya mendukung event titik ekstensi pre-event untuk unduh data, pre-event untuk unggah data, pre-event untuk penerbitan aset, dan pre-event untuk pembatalan penerbitan aset. |