Langganan pesan real-time OpenEvent untuk DataWorks - DataWorks

OpenEvent untuk DataWorks mendorong pesan perubahan status ke EventBridge, memungkinkan Anda berlangganan dan merespons secara real time. Misalnya, berlangganan perubahan tabel untuk memantau tabel inti atau berlangganan perubahan tugas untuk membuat dasbor pemantauan kustom.

Ikhtisar

DataWorks mendorong pesan perubahan status dari proses intinya ke OpenEvent. Gunakan modul OpenEvent untuk mengelola dorongan pesan untuk ruang kerja Anda, dan gunakan EventBridge untuk menyaring dan mengonsumsi pesan event.

Keunggulan:

Biaya O&M rendah: Aktifkan langganan pesan di Open Platform DataWorks untuk berlangganan pesan event.
Pengembangan lebih cepat: Konfigurasikan langganan di konsol DataWorks tanpa pengaturan manual pengiriman pesan. Siapkan SDK dan berlangganan.
Tanggapan yang dapat dikustomisasi: Berlangganan jenis event tertentu untuk mendeteksi perubahan bisnis dan memicu respons yang dipersonalisasi.

Catatan penggunaan

Edition: DataWorks Enterprise Edition saja.
Wilayah: Didukung di Tiongkok (Beijing), Tiongkok (Hangzhou), Tiongkok (Shenzhen), Tiongkok (Shanghai), Tiongkok (Zhangjiakou), Tiongkok (Chengdu), AS (Silicon Valley), AS (Virginia), Jerman (Frankfurt), Jepang (Tokyo), Tiongkok (Hong Kong), dan Singapura.
Kontrol akses: Hanya Open Platform Administrator, Tenant Administrator, Akun Alibaba Cloud, atau Pengguna RAM dengan izin Aliyundataworksfullaccess yang memiliki izin baca dan tulis untuk konsol developer. Administrator Open Platform. Berikan izin AliyunDataWorksFullAccess kepada Pengguna RAM.
Ketergantungan: OpenEvent menggunakan EventBridge untuk langganan dan konsumsi pesan. Aktifkan EventBridge sebelum memulai.

Konsep terkait

DataWorks mengklasifikasikan pesan event menjadi regular events dan extension point events berdasarkan apakah event tersebut membuat checkpoint proses.

Regular Events: Kembangkan program lokal untuk menerima pesan ini dan buat respons kustom.
Extension Point Events: Event ini mendukung semua kemampuan regular event. Anda juga dapat mendaftarkan program lokal sebagai ekstensi DataWorks untuk menerapkan logika kustom dan mengontrol perilaku, seperti mengintersepsi atau memblokir operasi pengguna.

Event juga diklasifikasikan berdasarkan cakupan menjadi event tingkat ruang kerja dan event tingkat penyewa.

Event tingkat ruang kerja: Dihasilkan oleh modul tingkat ruang kerja seperti Data Studio (eksekusi node) dan Operation Center (perubahan status instans terjadwal).
Event tingkat penyewa: Dihasilkan oleh modul tingkat penyewa, seperti penghapusan ruang kerja dari konsol. Tabel event berikut mencantumkan jenis, kategori, dan format pesan untuk setiap modul.

Jenis event yang didukung

Tabel berikut mencantumkan extension point events dan regular events pada tingkat ruang kerja dan tingkat penyewa.

Event tingkat penyewa

Console

Format pesan Console: Format pesan event Console.

Jenis Peristiwa	Event	Regular event	Extension point event	Contoh (operasi yang menghasilkan pesan event)
Hapus ruang kerja	Event pra-hapus ruang kerja	Tidak didukung	Didukung	Sebelum pengguna menghapus ruang kerja, event ini dipicu. Pre-delete Workspace Event memicu ekstensi yang sesuai untuk membuat checkpoint proses.
Hapus ruang kerja	Pasca-hapus ruang kerja	Didukung	Tidak didukung

Data Upload & Download

Format pesan: Format pesan event Data Upload & Download.

Jenis Peristiwa	Event	Regular event	Extension point event	Contoh (operasi yang menghasilkan pesan event)
Unduh dan unggah data	Event pra-unduh data - Pembuatan file	Tidak didukung	Didukung	Pengguna mengunduh data dari pusat unduhan. Sebelum pengunduhan, Pre-data Download Event menangkap informasi tentang operasi tersebut.
	Event pra-unduh data - Unduh file	Tidak didukung	Didukung
	Event pra-unggah data	Tidak didukung	Didukung

Event tingkat ruang kerja

Data Studio

Format pesan: Format pesan event Data Studio.

Jenis Peristiwa	Event	Regular event	Extension point event	Contoh (operasi yang menghasilkan pesan event)
Perubahan node	Tambahkan node	Didukung	Tidak didukung	Buat node dan deploy ke lingkungan produksi
Perubahan node	Perbarui node	Didukung	Tidak didukung	Modifikasi node di lingkungan pengembangan Deploy modifikasi ke produksi
Perubahan file Node Resource Function	Event pra-hapus file	Tidak didukung	Didukung	Hapus file di lingkungan pengembangan. File yang dihapus dipindahkan ke Keranjang daur ulang.
	Event pra-submit file	Tidak didukung	Didukung	Submit node, resource, atau function di Data Studio.
	Event pra-deploy file	Tidak didukung	Didukung	Deploy node, resource, atau function yang telah disubmit di Data Studio.
	Event pra-jalankan kode	Tidak didukung	Didukung	Jalankan kode node di Data Studio.
Perubahan tabel	Event pra-submit tabel ke pengembangan	Tidak didukung	Didukung	Event extension point submit tabel: Misalnya, submit tabel di manajemen tabel.
Perubahan tabel	Event pra-submit tabel ke produksi	Tidak didukung	Didukung	Event extension point deploy tabel: Misalnya, deploy tabel di manajemen tabel. Catatan Hanya ruang kerja mode standar yang mendukung deployment tabel di manajemen tabel. Oleh karena itu, event extension point deploy tabel hanya ada di mode standar.

Data Integration

Format pesan: Format pesan event Data Integration.

Tipe Peristiwa	Event	Regular event	Extension point event	Contoh (operasi yang menghasilkan pesan event)
Event perubahan node	Jalankan tugas real-time	Tidak didukung	Didukung	Jalankan tugas real-time di Data Integration.
Event perubahan node	Jalankan batch tugas real-time	Tidak didukung	Didukung	Jalankan batch tugas real-time di Data Integration.

Operation Center

Format pesan: Format pesan event Operation Center.

Jenis peristiwa	Event	Regular event	Extension point event	Contoh (operasi yang menghasilkan pesan event)
Perubahan node	Hapus node	Didukung	Tidak didukung	Deploy operasi hapus ke produksi untuk meng-undeploy node produksi Hapus node dari Keranjang daur ulang
	Event pra-undeploy node	Tidak didukung	Didukung	Langsung undeploy node dari tugas terjadwal di lingkungan produksi. Catatan Operasi ini juga menghapus node di Data Studio dan memindahkannya ke Keranjang daur ulang.
	Event pra-bekukan node	Tidak didukung	Didukung	Bekukan tugas di halaman tugas terjadwal.
	Event pra-unfreeze node	Tidak didukung	Didukung	Unfreeze tugas di halaman tugas terjadwal.
Backfill data node	Event pra-backfill data	Tidak didukung	Didukung	Backfill data untuk node saat ini dari tugas terjadwal. Backfill data untuk node saat ini dan node downstream dari tugas terjadwal. Backfill data dalam mode node masif. Mengisi ulang data dalam mode lanjutan.
Perubahan status tugas	Perubahan status tugas terjadwal	Didukung	Tidak didukung	Skenario berikut memicu event perubahan status tugas terjadwal: Tugas terjadwal dikirim ke Data Quality untuk validasi data. Tugas terjadwal memvalidasi kondisi cabang. Tugas dipicu oleh jadwal, secara manual, atau oleh event. Status tugas berubah dari Pending Resource ke Running. Tugas terjadwal selesai dieksekusi (berhasil atau gagal). Status tugas berubah dari Running ke Succeeded. Setelah tugas terjadwal gagal, Anda memilih untuk menjalankannya kembali. Status tugas berubah dari Failed ke Running. Tugas terjadwal diatur untuk berjalan pada waktu tertentu. Status tugas berubah menjadi menunggu waktu terjadwal (DueTime atau cycleTime) tiba.
Perubahan instans	Bekukan instans	Didukung	Tidak didukung	Event berikut dipicu setelah Anda melakukan operasi ini pada instans di daftar instans terjadwal di Operation Center. Bekukan instans. Unfreeze instans. Hentikan instans. Jalankan ulang instans. Tandai instans sebagai berhasil. Hapus dependensi upstream tertentu dari instans.
	Unfreeze instans	Didukung	Tidak didukung
	Hentikan instans	Didukung	Tidak didukung
	Jalankan ulang instans Jalankan ulang Jalankan ulang downstream	Didukung	Tidak didukung
	Tandai instans sebagai berhasil	Didukung	Tidak didukung
	Hapus dependensi upstream tertentu dari instans	Didukung	Tidak didukung
	Event pra-bekukan instans	Tidak didukung	Didukung	Saat Anda melakukan operasi pada instans di daftar instans terjadwal di Operation Center, pre-event yang sesuai dipicu. Bekukan instans. Unfreeze instans. Jalankan ulang instans. Tandai instans sebagai berhasil. Hentikan instans.
	Event pra-unfreeze instans	Tidak didukung	Didukung
	Event pra-jalankan ulang instans	Tidak didukung	Didukung
	Event pra-tandai instans sebagai berhasil	Tidak didukung	Didukung
	Event pra-hentikan instans	Tidak didukung	Didukung
	Hapus instans kedaluwarsa	Didukung	Tidak didukung
Perubahan status alur kerja	Perubahan status alur kerja Instans backfill data Alur kerja manual	Didukung	Tidak didukung	Pemantauan status alur kerja yang dihasilkan saat operasi backfill data dilakukan. Pemantauan status alur kerja yang dihasilkan saat alur kerja manual dijalankan.
Peringatan pemantauan	Peringatan pemantauan	Didukung	Tidak didukung	Contoh peringatan garis dasar: Tugas pada garis dasar memiliki perkiraan waktu penyelesaian yang terlalu lambat, memicu peringatan garis dasar. Contoh peringatan event: Tugas pada garis dasar gagal, memicu peringatan event. Contoh peringatan aturan: Setelah aturan pemantauan untuk node yatim dibuat, muncul node yatim dalam alur kerja, memicu peringatan aturan ini.

Security Center

Format pesan: Format pesan event Security Center.

Jenis peristiwa	Event	Regular event	Extension point event	Contoh (operasi yang menghasilkan pesan event)
Pembuatan/persetujuan permintaan izin	Event pra-buat permintaan izin	Tidak didukung	Didukung	Misalnya, di Security Center, buka halaman Data Access Control > Permission Request untuk membuat permintaan izin untuk Functions, Tables, dan Resources.
Pembuatan/persetujuan permintaan izin	Selesaikan permintaan	Didukung	Tidak didukung	Misalnya, di Security Center, buka halaman Data Access Control > Permission Approval untuk menyetujui izin untuk tabel, resource, dan function di semua proyek.
Perubahan izin tabel	Permintaan izin tabel	Tidak didukung	Didukung	Misalnya, pengguna meminta izin baca, tulis, atau modifikasi untuk tabel tertentu sesuai kebutuhan mereka.

Data Quality

Format pesan: Format pesan event Data Quality.

Jenis Peristiwa	Event	Regular event	Extension point event	Contoh (operasi yang menghasilkan pesan event)
Validasi kualitas data	Umpan balik hasil validasi	Didukung	Tidak didukung	Umpan balik atas hasil validasi. Misalnya, di Data Quality, aktifkan aturan yang mensyaratkan jumlah baris tabel harus lebih besar dari 0. Pengguna mengirimkan umpan balik atas hasil validasi, dan sistem mengirimkan umpan balik tersebut (ID aturan, konten, dan informasi lainnya) ke subscriber.
Validasi kualitas data	Validasi selesai	Didukung	Tidak didukung	Setelah validasi aturan selesai, hasilnya (status lulus/gagal, sampel, dan informasi lainnya) dikirim. Misalnya, di Data Quality, aktifkan aturan yang mensyaratkan jumlah baris tabel harus lebih besar dari 0. Saat validasi selesai, hasilnya dikirim ke subscriber.
Event pra-aturan kualitas data	Event pra-buat batch aturan kualitas data	Tidak didukung	Didukung	Misalnya, di Data Quality, buka halaman Rule Configuration > Configure by Table dan buka halaman detail tabel tertentu. Operasi berikut pada tab Rule Management memicu pre-event yang sesuai. Buat beberapa aturan pemantauan kualitas data. Modifikasi beberapa aturan pemantauan kualitas data. Hapus beberapa aturan pemantauan kualitas data. Modifikasi aturan pemantauan kualitas data tertentu.
	Event pra-perbarui batch aturan kualitas data	Tidak didukung	Didukung
	Event pra-hapus batch aturan kualitas data	Tidak didukung	Didukung
	Event pra-perbarui aturan kualitas data	Tidak didukung	Didukung
Event pra-pemantauan kualitas data	Event pra-buat pemantauan kualitas data	Tidak didukung	Didukung	Misalnya, di Data Quality, buka halaman Rule Configuration > Configure by Table dan buka halaman detail tabel tertentu. Operasi berikut pada tab Quality Monitoring memicu pre-event yang sesuai. Buat konfigurasi pemantauan kualitas data. Modifikasi konfigurasi pemantauan kualitas data. Kloning konfigurasi pemantauan kualitas data. Hapus batch konfigurasi pemantauan kualitas data.
	Event pra-perbarui pemantauan kualitas data	Tidak didukung	Didukung
	Event pra-kloning pemantauan kualitas data	Tidak didukung	Didukung
	Event pra-hapus batch pemantauan kualitas data	Tidak didukung	Didukung
Event langganan peringatan pemantauan kualitas pra-data	Event pra-buat langganan peringatan pemantauan kualitas data	Tidak didukung	Didukung	Misalnya, di Data Quality, buka halaman Rule Configuration > Configure by Table dan buka halaman detail tabel tertentu. Pada tab Quality Monitoring, berlangganan peringatan untuk konfigurasi pemantauan kualitas tertentu.
	Event pra-perbarui langganan peringatan pemantauan kualitas data	Tidak didukung	Didukung	Misalnya, di Data Quality, buka halaman Rule Configuration > Configure by Table dan buka halaman detail tabel tertentu. Pada tab Quality Monitoring, modifikasi informasi langganan peringatan untuk konfigurasi pemantauan kualitas tertentu.
	Event pra-hapus langganan peringatan pemantauan kualitas data	Tidak didukung	Didukung	Misalnya, di Data Quality, buka halaman Rule Configuration > Configure by Table dan buka halaman detail tabel tertentu. Pada tab Quality Monitoring, hapus informasi langganan peringatan untuk konfigurasi pemantauan kualitas tertentu.