Pengiriman pesan - Realtime Compute for Apache Flink - Alibaba Cloud Documentation Center

Pengiriman pesan mengalirkan log startup, penggunaan sumber daya, event berjalan, dan perubahan status pekerjaan dari pekerjaan Flink di namespace target ke antrian pesan eksternal atau sistem penyimpanan secara real time. Dengan menyimpan data ini secara persisten, Anda dapat melakukan kueri catatan historis untuk troubleshooting, optimasi kinerja, dan audit. Topik ini menjelaskan cara mengonfigurasi pengiriman pesan dan melihat pesan yang telah dikirimkan.

Latar Belakang

Fitur ini mendukung pengiriman lintas wilayah (cross-region). Tabel berikut menjelaskan jenis informasi yang dikirimkan beserta pemicunya.

Kategori	Deskripsi	Pemicu pengiriman
Job startup logs	Log yang dihasilkan selama seluruh proses startup pekerjaan, mulai dari inisialisasi lingkungan Flink hingga startup JobManager dan pembentukan graf eksekusi Flink.	Dikirimkan satu kali ketika pekerjaan berhasil dimulai atau mencapai status akhir (misalnya failed atau finished).
Resource information	Perubahan penggunaan sumber daya dalam sebuah namespace, termasuk konsumsi dan alokasi CPU serta memori. Perubahan penggunaan sumber daya untuk sebuah antrian, termasuk konsumsi dan alokasi CPU serta memori. Penting Informasi ini hanya untuk pelacakan kapasitas sumber daya dan tidak menyediakan notifikasi.	Dikirimkan setiap 30 detik selama namespace beroperasi normal.
Runtime events	Status startup pada setiap tahap proses startup pekerjaan.	Dipicu saat terjadi event runtime pekerjaan.
Job resource consumption	Penggunaan sumber daya oleh pekerjaan streaming yang sedang berjalan. Ini tidak mencakup pekerjaan batch atau pekerjaan yang berjalan di kluster sesi.	Dikirimkan setiap 10 menit selama pekerjaan berjalan.
Job state change	Event perubahan status pekerjaan, termasuk status sebelumnya dan status baru.	Dipicu saat status pekerjaan berubah.

Catatan

Anda hanya dapat mengirimkan pesan ke Simple Log Service (SLS). Sebelum memulai, Anda harus membuat proyek SLS dan Logstore. Untuk petunjuknya, lihat Gunakan LoongCollector untuk mengumpulkan dan menganalisis log teks pada instance ECS.
Pengiriman pesan tidak dikenai biaya. Namun, Anda akan dikenai biaya atas penggunaan fitur SLS seperti pengindeksan Logstore. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.
Untuk melakukan kueri dan analisis log di SLS, diperlukan indeks. Mengaktifkan indeks bersifat opsional dan dikenai biaya untuk traffic dan penyimpanan indeks. Untuk informasi lebih lanjut tentang biayanya, lihat Ikhtisar penagihan.
Anda dapat mengonfigurasi server-side encryption untuk Logstore. Pesan yang dikirimkan ke Logstore juga akan dienkripsi. Untuk mempelajari caranya, lihat Enkripsi data.
Pengiriman pesan saat ini hanya mendukung job startup logs ke SLS. Anda harus mengonfigurasi job runtime logs secara terpisah agar output-nya dikirimkan ke OSS, SLS, atau Kafka. Untuk informasi lebih lanjut, lihat Konfigurasi output log pekerjaan.
Perubahan pada konfigurasi pengiriman pesan dapat memerlukan waktu hingga 30 detik untuk diterapkan.

Prosedur

Langkah 1: Konfigurasi pengiriman pesan

Buka halaman konfigurasi pengiriman pesan
1. Masuk ke Konsol Realtime Compute for Apache Flink.
2. Pada kolom Actions ruang kerja target, klik Console.
3. Di panel navigasi kiri, klik O&M > Configurations.

Konfigurasi parameter pengiriman Log Service

Pada tab Message Delivery, aktifkan sakelar Deliver to SLS.

Konfigurasikan parameter Log Service.

Parameter	Deskripsi
Authorization mode	STS Token: Mode ini hanya mengirimkan pesan ke proyek Log Service di wilayah yang sama dengan ruang kerja Flink Anda. Oleh karena itu, Anda hanya perlu mengonfigurasi proyek Log Service dan Logstore. AccessKey: Mode ini memungkinkan pengiriman pesan ke proyek Log Service di wilayah berbeda. Oleh karena itu, Anda harus mengonfigurasi endpoint, ID AccessKey, dan AccessKey Secret.
Log Service project	Nama proyek Log Service.
Log Service Logstore	Nama Logstore Log Service.
endpoint	Endpoint Log Service. Jika Authorization mode diatur ke STS Token, sistem secara otomatis menggunakan endpoint untuk wilayah tempat ruang kerja Flink Anda berada. Jika Anda mengatur Authorization mode ke AccessKey, Anda harus mengonfigurasi parameter ini secara manual.
Delivery scope	Konten pesan yang akan dikirimkan. Untuk informasi lebih lanjut, lihat Referensi bidang di bagian akhir topik ini.
AccessKey ID	ID AccessKey dan AccessKey Secret Akun Alibaba Cloud Anda. Penting Untuk mencegah kredensial AccessKey Anda terekspos, kami menyarankan agar Anda mengelola ID AccessKey dan AccessKey Secret sebagai variabel. Anda dapat mengklik panah drop-down untuk memilih variabel yang sudah ada, atau mengklik ikon di samping parameter untuk membuat variabel baru. Untuk informasi lebih lanjut tentang cara mengelola variabel dan melihat ID AccessKey serta AccessKey Secret Anda, lihat Manajemen variabel dan Bagaimana cara melihat kredensial AccessKey?
AccessKey Secret

Klik Save.

Langkah 2: Lihat pesan yang dikirimkan

Prosedur

Klik Open the SLS console di sebelah kanan Log Service project.
Lihat informasi dalam log mentah.

Log mentah berupa pesan dalam format JSON yang berisi informasi kuota sumber daya (RESOURCE_QUOTA). Log ini mencakup bidang-bidang seperti namespaceTotalCpu (20,0), namespaceTotalMemory (0,08 TiB), namespaceUsedCpu (8,0), namespaceUsedMemory (23,00 GiB), dan resourceQueueName (default-queue). Bidang-bidang ini mencatat kuota dan penggunaan CPU serta memori untuk namespace dan antrian sumber daya.

Deskripsi bidang

Startup logs (JOB_START_LOG)

Parameter	Deskripsi
messageType	Jenis pesan. Nilainya tetap JOB_START_LOG (job startup log).
deploymentId	ID deployment pekerjaan.
deploymentName	Nama deployment pekerjaan.
jobId	ID instans pekerjaan.
tag	Tag pekerjaan. Bidang ini kosong jika tidak ada tag yang dikonfigurasi.
length	Panjang total log.
offset	Untuk log yang di-shard, bidang ini menentukan offset awal entri log.
content	Detail log startup pekerjaan.
workspace	ID ruang kerja.
namespace	Nama namespace.
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan.

Resource details (JOB_RESOURCE_QUOTA)

Parameter	Deskripsi
messageType	Jenis pesan. Nilainya tetap RESOURCE_QUOTA (penggunaan sumber daya).
namespaceTotalCpuMemory	Bidang ini sudah tidak digunakan lagi. Gunakan bidang `...Cpu` dan `...Memory` yang sesuai sebagai gantinya.
namespaceTotalCpu	Total sumber daya CPU untuk namespace, diukur dalam CU.
namespaceTotalMemory	Total sumber daya memori untuk namespace.
namespaceUsedCpuMemory	Bidang ini sudah tidak digunakan lagi. Gunakan bidang `...Cpu` dan `...Memory` yang sesuai sebagai gantinya.
namespaceUsedCpu	Sumber daya CPU yang digunakan oleh namespace, diukur dalam CU.
namespaceUsedMemory	Sumber daya memori yang digunakan oleh namespace.
resourceQueueName	Nama antrian sumber daya.
resourceQueueTotalCpuMemory	Bidang ini sudah tidak digunakan lagi. Gunakan bidang `...Cpu` dan `...Memory` yang sesuai sebagai gantinya.
resourceQueueTotalCpu	Total sumber daya CPU untuk antrian sumber daya, diukur dalam CU.
resourceQueueTotalMemory	Total sumber daya memori untuk antrian sumber daya.
resourceQueueUsedCpuMemory	Bidang ini sudah tidak digunakan lagi. Gunakan bidang `...Cpu` dan `...Memory` yang sesuai sebagai gantinya.
resourceQueueUsedCpu	Sumber daya CPU yang digunakan oleh antrian sumber daya, diukur dalam CU.
resourceQueueUsedMemory	Sumber daya memori yang digunakan oleh antrian sumber daya.
workspace	ID ruang kerja.
namespace	Nama namespace.
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan.

Runtime events (JOB_EVENT)

Parameter	Deskripsi
messageType	Jenis pesan. Nilainya tetap JOB_EVENT (runtime event).
deploymentId	ID deployment pekerjaan.
deploymentName	Nama deployment pekerjaan.
jobId	ID instans pekerjaan.
tag	Tag pekerjaan. Bidang ini kosong jika tidak ada tag yang dikonfigurasi.
eventId	ID event.
eventName	Nama event.
content	Detail event.
workspace	ID ruang kerja.
namespace	Nama namespace.
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan.

Job resource usage (JOB_RESOURCE_USAGE)

Parameter	Deskripsi
messageType	Jenis pesan. Nilainya tetap JOB_RESOURCE_USAGE (job resource usage).
deploymentId	ID deployment pekerjaan.
deploymentName	Nama deployment pekerjaan.
jobId	ID instans pekerjaan.
tag	Tag pekerjaan. Bidang ini kosong jika tidak ada tag yang dikonfigurasi.
jobUsedCpu	Jumlah CU yang digunakan oleh pekerjaan.
jobUsedMemory	Jumlah memori yang digunakan oleh pekerjaan.
workspace	ID ruang kerja.
namespace	Nama namespace.
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan.

Job status changes (JOB_STATUS_CHANGED)

Parameter	Deskripsi
messageType	Jenis pesan. Nilainya tetap JOB_STATUS_CHANGED (job status change).
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan, dalam milidetik.
workspace	ID ruang kerja.
namespace	Nama namespace.
deploymentId	ID deployment pekerjaan.
deploymentName	Nama deployment pekerjaan.
jobId	ID instans pekerjaan.
previousStatus	Status pekerjaan sebelum perubahan.
currentStatus	Status pekerjaan setelah perubahan.
tag	Tag pekerjaan. Bidang ini kosong jika tidak ada tag yang dikonfigurasi.
additionalInfo	Informasi tambahan.

Referensi

Untuk mengonfigurasi logging untuk satu pekerjaan, lihat Konfigurasi output log pekerjaan.
Untuk melihat log di Konsol pengembangan Realtime Compute for Apache Flink, lihat Lihat log startup dan running, Lihat event running, Lihat log exception running, dan Lihat log instans pekerjaan historis.