DataWorks Ekstensi adalah Plugin yang dapat digunakan dengan OpenAPI dan OpenEvent. Anda dapat menggunakan ekstensi untuk menyesuaikan logika pemrosesan operasi pengguna di DataWorks dan mengimplementasikan kontrol perilaku seperti pemblokiran. Sebagai contoh, Anda dapat mengembangkan ekstensi untuk kontrol perubahan tugas dan menggunakannya untuk mengimplementasikan kontrol penyebaran tugas kustom. Topik ini menjelaskan informasi dasar tentang ekstensi.
Batasan
Hanya pengguna DataWorks Enterprise Edition yang dapat menggunakan modul Ekstensi.
Modul Ekstensi tersedia di wilayah berikut: Tiongkok (Beijing), Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Chengdu), AS (Silicon Valley), AS (Virginia), Jerman (Frankfurt), Jepang (Tokyo), Tiongkok (Hong Kong), dan Singapura.
Catatan
Kontrol izin: Hanya Open Platform administrator, tenant administrator, akun Alibaba Cloud, dan pengguna RAM dengan kebijakan AliyunDataWorksFullAccess yang memiliki izin baca dan tulis pada backend pengembang. Untuk informasi lebih lanjut tentang manajemen izin, lihat Kelola izin pada layanan tingkat global dan Kelola izin pada layanan DataWorks dan entitas di Konsol DataWorks menggunakan kebijakan RAM.
Masa berlaku versi: Jika DataWorks Enterprise Edition kedaluwarsa, ekstensi menjadi tidak valid dan tidak dapat dipicu untuk memeriksa peristiwa titik ekstensi. Jika ekstensi dipicu untuk memeriksa suatu peristiwa dan belum menyelesaikan pemeriksaan ketika DataWorks Enterprise Edition kedaluwarsa, pemeriksaan dihentikan dan hasil Check Passed dikembalikan.
Batasan: Jika Anda mengembangkan dan menerapkan ekstensi berdasarkan Function Compute, Anda hanya dapat menambahkan peristiwa titik ekstensi tertentu ke ekstensi.
Fitur
DataWorks Open Platform menyediakan berbagai titik ekstensi. Modul Ekstensi didasarkan pada titik ekstensi dan merupakan Plugin yang bekerja sama dengan modul OpenAPI dan OpenEvent untuk menyediakan fitur yang memenuhi kebutuhan bisnis Anda serta membantu Anda mengelola operasi di DataWorks berdasarkan logika pemrosesan kustom, seperti memblokir operasi.
Skenario bisnis di mana ekstensi dapat digunakan untuk manajemen operasi:
Pengelolaan konvensi penamaan tabel atau tugas.
Pengelolaan tugas sinkronisasi data duplikat.
Pengelolaan biaya yang dihasilkan oleh tugas.
Pengelolaan dependensi antara tugas.
CatatanUntuk informasi lebih lanjut tentang jenis-jenis peristiwa yang dapat digunakan dalam berbagai skenario bisnis, lihat Referensi Pengembangan: Daftar Peristiwa dan Format Pesan Peristiwa.
Kontrol proses kustom: Ketika ekstensi digunakan untuk mengontrol operasi di titik ekstensi, operasi di DataWorks ditangguhkan hingga ekstensi kustom mengembalikan hasil.
Sebagai contoh, Anda dapat menambahkan ekstensi yang digunakan untuk memeriksa fungsi ke proses dasar pengembangan dan penyebaran tugas di ruang kerja dalam mode standar. Setelah Anda mengaktifkan ekstensi, proses pengembangan dan penyebaran tugas berubah dari prosedur menjadi prosedur . Untuk informasi lebih lanjut, lihat Praktik terbaik untuk melarang penggunaan fungsi MAX_PT (fitur lanjutan).
Proses Pengembangan
Di DataWorks, Anda dapat mengembangkan dan menerapkan ekstensi melalui Layanan Mandiri atau Function Compute untuk mengimplementasikan kontrol proses kustom.
Konfigurasikan pengaturan yang diperlukan di OpenEvent untuk mendorong pesan peristiwa: Pilih metode untuk mengembangkan dan menerapkan ekstensi berdasarkan peristiwa titik ekstensi yang ingin Anda terima.
Mengembangkan dan menerapkan ekstensi berdasarkan Layanan Mandiri: Metode ini bergantung pada kemampuan distribusi pesan EventBridge. Tentukan bus peristiwa ke mana pesan peristiwa DataWorks dikirim di saluran distribusi peristiwa yang telah dikonfigurasi. Kemudian, konfigurasikan bus peristiwa untuk merutekan pesan ke jenis layanan yang sesuai.
Mengembangkan dan menerapkan ekstensi menggunakan Function Compute: Secara default, pesan peristiwa DataWorks dikirim ke layanan Function Compute yang Anda tentukan dalam ekstensi yang Anda daftarkan. Anda tidak perlu mengonfigurasi bus peristiwa di OpenEvent.
Mengembangkan dan menerapkan ekstensi: Terima dan analisis pesan peristiwa yang didorong oleh DataWorks, proses pesan peristiwa berdasarkan logika pemrosesan kustom, dan kembalikan hasil pemrosesan ke DataWorks.
Mengembangkan dan menerapkan ekstensi berdasarkan layanan mandiri: Gunakan program layanan tempat pesan dirutekan di bus peristiwa untuk menerima pesan DataWorks, membuat penilaian logis pada pesan, dan memanggil kembali hasil pemrosesan menggunakan API yang ditentukan.
Mengembangkan dan menerapkan ekstensi berdasarkan Function Compute: Implementasikan antarmuka spesifik Function Compute untuk menerima permintaan ekstensi dan mengembalikan hasil pemrosesan ekstensi.
Daftarkan ekstensi: Tentukan jenis pesan peristiwa apa yang akan diterima dan diproses oleh ekstensi yang dikembangkan di DataWorks.
Uji ekstensi: Verifikasi apakah ekstensi bekerja sesuai harapan di ruang kerja uji.
Ajukan dan publikasikan ekstensi: Setelah Anda memastikan bahwa ekstensi bekerja sesuai harapan, ajukan ekstensi untuk ditinjau. Setelah ekstensi lolos tinjauan, publikasikan ekstensi untuk semua ruang kerja guna digunakan.
CatatanTinjauan ekstensi biasanya selesai dalam waktu
T+3hari kerja. Harap bersabar.Pesan peristiwa DataWorks berlaku selama tiga hari. Jika masa berlaku terlampaui, pesan peristiwa dianggap kedaluwarsa dan tidak diproses oleh ekstensi.
Peristiwa Titik Ekstensi yang Didukung
Tabel berikut menjelaskan jenis dan detail peristiwa titik ekstensi yang dapat diproses oleh ekstensi.
Saat Anda mengembangkan dan menerapkan ekstensi, Anda perlu menggunakan eventcode yang sesuai dengan titik ekstensi tertentu. Untuk informasi lebih lanjut tentang kode peristiwa, lihat Referensi Pengembangan: Daftar Peristiwa dan Format Pesan Peristiwa.
Anda hanya dapat mempublikasikan peristiwa titik ekstensi di ruang kerja dalam mode standar.
Efek pemblokiran titik ekstensi dapat diamati dalam contoh aplikasi berikut: Memicu pemeriksaan peristiwa selama pengembangan data dan Memicu pemeriksaan peristiwa di Pusat Operasi.
Ruang lingkup aplikasi | Layanan DataWorks | Jenis titik ekstensi | Titik ekstensi | Operasi API untuk mengirim hasil pemrosesan |
Tingkat ruang kerja | Peristiwa Perubahan File
| Peristiwa pra-penghapusan Node | Anda dapat menggunakan operasi UpdateIDEEventResult untuk memanggil kembali hasil pemrosesan peristiwa ke DataWorks. | |
Peristiwa pra-pengiriman Node | ||||
Peristiwa pra-penyebaran Node | ||||
Peristiwa pra-pelaksanaan Kode | ||||
Peristiwa Perubahan Tabel | Peristiwa pra-penyebaran Tabel | |||
Peristiwa pra-pengiriman Tabel | ||||
Peristiwa Perubahan Node | Peristiwa pra-pelaksanaan Di-Job | Anda dapat menggunakan operasi CallbackExtension untuk memanggil kembali hasil pemrosesan peristiwa ke DataWorks. | ||
Peristiwa pra-pelaksanaan Batch Di-Job | ||||
Peristiwa Perubahan Node | Peristiwa pra-pencopotan Node | Anda dapat menggunakan operasi UpdateWorkbenchEventResult untuk memanggil kembali hasil pemrosesan peristiwa ke DataWorks. | ||
Peristiwa pra-pembekuan Node | ||||
Peristiwa pra-pembukaan pembekuan Node | ||||
Peristiwa Operasi Pengisian Ulang Data | Peristiwa pra-pengisian ulang data | |||
Peristiwa Perubahan Instance | Peristiwa pra-pembekuan Instance | |||
Peristiwa pra-pembukaan pembekuan Instance | ||||
Peristiwa pra-penghentian Instance | ||||
Peristiwa pra-pelaksanaan ulang Instance | ||||
Peristiwa pra-pengaturan Instance Sukses | ||||
Peristiwa Perubahan Persetujuan | Peristiwa pra-pembuatan Order Persetujuan | Anda dapat menggunakan operasi CallbackExtension untuk memanggil kembali hasil pemrosesan peristiwa ke DataWorks. | ||
Peristiwa Pemeriksaan DQC | Peristiwa pra-pembuatan Aturan Kualitas Data Batch | |||
Peristiwa pra-pembaruan Aturan Kualitas Data Batch | ||||
Peristiwa pra-pembaruan Aturan Kualitas Data | ||||
Peristiwa pra-penghapusan Aturan Kualitas Data Batch | ||||
Peristiwa pra-pembuatan Tugas Evaluasi Kualitas Data | ||||
Peristiwa pra-pembaruan Tugas Evaluasi Kualitas Data | ||||
Peristiwa pra-pengklonan Tugas Evaluasi Kualitas Data | ||||
Peristiwa pra-pembuatan Notifikasi Tugas Evaluasi Kualitas Data | ||||
Peristiwa pra-penghapusan Tugas Evaluasi Kualitas Data Batch | ||||
Peristiwa pra-pembaruan Notifikasi Tugas Evaluasi Kualitas Data | ||||
Peristiwa pra-penghapusan Notifikasi Tugas Evaluasi Kualitas Data | ||||
Tingkat penyewa | Peristiwa Perubahan Proyek | Peristiwa pra-penghapusan Proyek | ||
Peristiwa Unduhan Sumber Daya | Peristiwa pra-pembuatan Sumber Daya | |||
Peristiwa pra-unduhan Sumber Daya | ||||
Peristiwa pra-unggahan Sumber Daya |
Lampiran: Perbandingan antara Dua Jenis Metode Penyebaran Ekstensi
Layanan mandiri | Function Compute | |
Tingkat kesulitan operasi | Prosedurnya kompleks, melibatkan penyebaran server dan aplikasi, serta rentan terhadap masalah jaringan dan O&M. | Prosedurnya sederhana. Anda dapat mengembangkan dan menerapkan ekstensi menggunakan satu fungsi. |
Biaya | - | Biaya Function Compute dikenakan. Untuk informasi lebih lanjut, lihat Ikhtisar Penagihan. |
Peristiwa yang didukung | Beberapa peristiwa ekstensi didukung. Untuk informasi lebih lanjut tentang peristiwa ekstensi, lihat Referensi Pengembangan: Daftar Peristiwa dan Format Pesan Peristiwa. | Metode penerapan berbasis Function Compute hanya mendukung peristiwa pra-berikut: Peristiwa pra-pembuatan Sumber Daya, Peristiwa pra-unduhan Sumber Daya, dan Peristiwa pra-unggahan Sumber Daya. |