Pengiriman pesan - Realtime Compute for Apache Flink - Alibaba Cloud Documentation Center

Pengiriman pesan mengalirkan log startup, penggunaan sumber daya, event berjalan, dan perubahan status pekerjaan dari pekerjaan Flink di namespace target ke Simple Log Service (SLS) atau ApsaraMQ for Kafka secara real time. Dengan menyimpan data ini secara persisten, Anda dapat melakukan kueri terhadap catatan historis untuk troubleshooting, optimasi kinerja, dan audit. Topik ini menjelaskan cara mengonfigurasi pengiriman pesan dan melihat pesan yang telah dikirimkan.

Latar Belakang

Pengiriman pesan mendukung pengiriman ke SLS dan ApsaraMQ for Kafka. Kedua saluran tersebut mengirimkan konten pesan yang sama. SLS mendukung pengiriman lintas wilayah, sedangkan Kafka hanya mengirimkan pesan ke instans yang berada di wilayah yang sama dengan ruang kerja Flink Anda. Tabel berikut menjelaskan jenis informasi yang dikirimkan beserta pemicunya.

Kategori	Deskripsi	Pemicu pengiriman
Job startup logs	Log yang dihasilkan selama seluruh proses startup pekerjaan, mulai dari inisialisasi lingkungan Flink hingga startup JobManager dan pembentukan graf eksekusi Flink.	Dikirimkan sekali ketika pekerjaan berhasil dimulai atau mencapai status akhir (seperti failed atau finished).
Resource information	Perubahan penggunaan sumber daya dalam sebuah namespace, termasuk konsumsi dan alokasi CPU serta memori. Perubahan penggunaan sumber daya untuk antrian, termasuk konsumsi dan alokasi CPU serta memori. Penting Informasi ini hanya untuk pelacakan kapasitas sumber daya dan tidak memberikan notifikasi.	Dikirimkan setiap 30 detik selama namespace beroperasi secara normal.
Runtime events	Status startup pada setiap tahap proses startup pekerjaan.	Dipicu ketika terjadi event runtime pekerjaan.
Job resource consumption	Penggunaan sumber daya oleh pekerjaan streaming yang sedang berjalan. Tidak mencakup pekerjaan batch atau pekerjaan yang berjalan di session cluster.	Dikirimkan setiap 10 menit selama pekerjaan berjalan.
Job state change	Event perubahan status pekerjaan, termasuk status sebelumnya dan status baru.	Dipicu ketika status pekerjaan berubah.

Catatan

Sebelum mengirimkan pesan ke SLS, buat proyek SLS dan Logstore terlebih dahulu. Untuk petunjuknya, lihat Gunakan LoongCollector untuk mengumpulkan dan menganalisis log teks pada instance ECS.
Sebelum mengirimkan pesan ke Kafka, buat instans ApsaraMQ for Kafka dan topik di konsol ApsaraMQ for Kafka. Topik tidak dibuat secara otomatis. Untuk informasi lebih lanjut, lihat Buat sumber daya Kafka.
Pengiriman ke SLS dan pengiriman ke Kafka bersifat independen. Anda dapat mengaktifkan salah satu atau kedua saluran tersebut, serta mengonfigurasi rentang pengiriman untuk masing-masing tab secara terpisah.
Pengiriman pesan tidak dikenai biaya. Namun, Anda akan dikenai biaya atas penggunaan fitur SLS seperti pengindeksan Logstore. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.
Untuk melakukan kueri dan analisis log di SLS, diperlukan indeks. Pengaktifan indeks bersifat opsional dan dikenai biaya untuk trafik dan penyimpanan indeks. Untuk informasi lebih lanjut mengenai biayanya, lihat Ikhtisar penagihan.
Anda dapat mengonfigurasi server-side encryption untuk Logstore. Pesan yang dikirimkan ke Logstore juga akan dienkripsi. Untuk mempelajari caranya, lihat Enkripsi data.
Pengiriman pesan mencakup log startup, detail sumber daya, event berjalan lengkap, penggunaan sumber daya pekerjaan, dan perubahan status pekerjaan. Untuk mengeluarkan log runtime pekerjaan, lihat Konfigurasikan output log pekerjaan.
Perubahan pada konfigurasi pengiriman pesan dapat memerlukan waktu hingga 30 detik untuk berlaku.

Prosedur

Langkah 1: Konfigurasikan pengiriman pesan

Buka halaman konfigurasi pengiriman pesan
1. Masuk ke Konsol Realtime Compute for Apache Flink.
2. Pada kolom Actions ruang kerja target, klik Console.
3. Di panel navigasi sebelah kiri, klik O&M > Configurations.
4. Klik tab Message Delivery.

Konfigurasikan parameter pengiriman pesan

Lengkapi konfigurasi pada tab saluran target.

SLS Delivery

Aktifkan sakelar Deliver to SLS.

Konfigurasikan parameter Log Service.

Parameter	Deskripsi
Authorization mode	STS Token: Mode ini hanya mengirimkan pesan ke proyek Log Service yang berada di wilayah yang sama dengan ruang kerja Flink Anda. Oleh karena itu, Anda hanya perlu mengonfigurasi proyek Log Service dan Logstore. AccessKey: Mode ini memungkinkan pengiriman pesan ke proyek Log Service di wilayah berbeda. Oleh karena itu, Anda harus mengonfigurasi wilayah, endpoint, ID AccessKey, dan AccessKey Secret.
Log Service project	Nama proyek Log Service.
Log Service Logstore	Nama Logstore Log Service.
Region	Wilayah tempat proyek Log Service berada. Jika Authorization mode diatur ke AccessKey, Anda harus mengonfigurasi parameter ini. Untuk daftar wilayah dan endpoint, lihat Endpoints.
endpoint	Endpoint Log Service. Jika Authorization mode diatur ke STS Token, sistem secara otomatis menggunakan endpoint untuk wilayah tempat ruang kerja Flink Anda berada. Jika Anda mengatur Authorization mode ke AccessKey, Anda harus mengonfigurasi parameter ini secara manual.
Delivery range	Konten pesan yang akan dikirimkan. Untuk informasi lebih lanjut, lihat Referensi bidang di bagian akhir topik ini.
AccessKey ID	ID AccessKey dan AccessKey Secret Akun Alibaba Cloud Anda. Penting Untuk mencegah kredensial AccessKey Anda terpapar, kami menyarankan agar Anda mengelola ID AccessKey dan AccessKey Secret sebagai variabel. Anda dapat mengklik panah drop-down untuk memilih variabel yang sudah ada, atau mengklik ikon di samping parameter untuk membuat variabel baru. Untuk informasi lebih lanjut tentang cara mengelola variabel dan melihat ID AccessKey serta AccessKey Secret Anda, lihat Manajemen variabel dan Bagaimana cara melihat kredensial AccessKey?
AccessKey Secret

Klik Save.

Kafka Delivery

Aktifkan sakelar Deliver to Kafka.

Konfigurasikan parameter Kafka.

Parameter	Deskripsi
Authorization Mode	STS Token: mengirimkan pesan hanya ke instans Kafka di wilayah yang sama dengan ruang kerja Flink Anda. Kafka instance, Endpoint, dan Kafka Topic semuanya dipilih dari daftar drop-down. Manual configuration: masukkan Endpoint dan Kafka Topic secara manual.
Kafka instance	Instans Kafka yang menerima pesan. Ditampilkan ketika mode otorisasi adalah STS Token. Klik ikon refresh untuk memuat ulang daftar instans.
Endpoint	Endpoint instans Kafka. Diisi secara otomatis berdasarkan instans yang dipilih ketika mode otorisasi adalah STS Token. Dimasukkan secara manual ketika mode otorisasi adalah Manual configuration.
Kafka Topic	Topik yang menerima pesan. Buat topik terlebih dahulu. Klik Kafka console untuk membuka konsol ApsaraMQ for Kafka. Ketika mode otorisasi adalah Manual configuration, nama topik harus terdiri dari 3 hingga 64 karakter dan hanya boleh berisi huruf, angka, titik (.), tanda hubung (-), dan garis bawah (_). Nama tersebut harus mengandung setidaknya satu huruf atau angka.
Delivery range	Jenis pesan yang akan dikirimkan. Pilih minimal satu dari Startup Logs, Resource Details, Full Running Events, Job Resource Usage, dan Job Status Changed. Untuk informasi lebih lanjut mengenai konten pesan, lihat Deskripsi bidang di bagian akhir topik ini.

Klik Save.

Langkah 2: Lihat pesan yang telah dikirimkan

Prosedur

Deliver to SLS

Klik Open the SLS console di sebelah kanan Log Service project.
Lihat informasi dalam log mentah.

Log mentah berupa pesan dalam format JSON yang berisi informasi kuota sumber daya (RESOURCE_QUOTA). Log ini mencakup bidang-bidang seperti namespaceTotalCpu (20,0), namespaceTotalMemory (0,08 TiB), namespaceUsedCpu (8,0), namespaceUsedMemory (23,00 GiB), dan resourceQueueName (default-queue). Bidang-bidang ini mencatat kuota dan penggunaan CPU serta memori untuk namespace dan antrian sumber daya.

Deliver to Kafka

Pesan dikirimkan dalam format JSON ke topik Kafka yang telah Anda konfigurasi di Langkah 1.
Masuk ke konsol ApsaraMQ for Kafka dan lihat pesan pada halaman Message query instans target. Untuk informasi lebih lanjut, lihat Query messages. Anda juga dapat menggunakan klien Kafka yang dikelola sendiri untuk mengonsumsi topik melalui Endpoint yang telah dikonfigurasi.

Deskripsi bidang

Struktur isi pesan sama untuk SLS dan Kafka. Bagian berikut menjelaskan bidang-bidang untuk setiap jenis pesan.

Startup logs (JOB_START_LOG)

Parameter	Deskripsi
messageType	Jenis pesan. Tetap bernilai JOB_START_LOG (log startup pekerjaan).
deploymentId	ID deployment pekerjaan.
deploymentName	Nama deployment pekerjaan.
jobId	ID instans pekerjaan.
tag	Tag pekerjaan. Bidang ini kosong jika tidak ada tag yang dikonfigurasi.
length	Panjang total log.
offset	Untuk log yang di-shard, bidang ini menentukan offset awal entri log.
content	Detail log startup pekerjaan.
workspace	ID ruang kerja.
namespace	Nama namespace.
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan.

Resource details (JOB_RESOURCE_QUOTA)

Parameter	Deskripsi
messageType	Jenis pesan. Tetap bernilai RESOURCE_QUOTA (penggunaan sumber daya).
namespaceTotalCpuMemory	Bidang ini sudah tidak digunakan lagi. Gunakan bidang `...Cpu` dan `...Memory` yang sesuai sebagai gantinya.
namespaceTotalCpu	Total sumber daya CPU untuk namespace, diukur dalam CU.
namespaceTotalMemory	Total sumber daya memori untuk namespace.
namespaceUsedCpuMemory	Bidang ini sudah tidak digunakan lagi. Gunakan bidang `...Cpu` dan `...Memory` yang sesuai sebagai gantinya.
namespaceUsedCpu	Sumber daya CPU yang digunakan oleh namespace, diukur dalam CU.
namespaceUsedMemory	Sumber daya memori yang digunakan oleh namespace.
resourceQueueName	Nama antrian sumber daya.
resourceQueueTotalCpuMemory	Bidang ini sudah tidak digunakan lagi. Gunakan bidang `...Cpu` dan `...Memory` yang sesuai sebagai gantinya.
resourceQueueTotalCpu	Total sumber daya CPU untuk antrian sumber daya, diukur dalam CU.
resourceQueueTotalMemory	Total sumber daya memori untuk antrian sumber daya.
resourceQueueUsedCpuMemory	Bidang ini sudah tidak digunakan lagi. Gunakan bidang `...Cpu` dan `...Memory` yang sesuai sebagai gantinya.
resourceQueueUsedCpu	Sumber daya CPU yang digunakan oleh antrian sumber daya, diukur dalam CU.
resourceQueueUsedMemory	Sumber daya memori yang digunakan oleh antrian sumber daya.
workspace	ID ruang kerja.
namespace	Nama namespace.
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan.

Runtime events (JOB_EVENT)

Parameter	Deskripsi
messageType	Jenis pesan. Tetap bernilai JOB_EVENT (event runtime).
deploymentId	ID deployment pekerjaan.
deploymentName	Nama deployment pekerjaan.
jobId	ID instans pekerjaan.
tag	Tag pekerjaan. Bidang ini kosong jika tidak ada tag yang dikonfigurasi.
eventId	ID event.
eventName	Nama event.
content	Detail event.
workspace	ID ruang kerja.
namespace	Nama namespace.
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan.

Job resource usage (JOB_RESOURCE_USAGE)

Parameter	Deskripsi
messageType	Jenis pesan. Tetap bernilai JOB_RESOURCE_USAGE (penggunaan sumber daya pekerjaan).
deploymentId	ID deployment pekerjaan.
deploymentName	Nama deployment pekerjaan.
jobId	ID instans pekerjaan.
tag	Tag pekerjaan. Bidang ini kosong jika tidak ada tag yang dikonfigurasi.
jobUsedCpu	Jumlah CU yang digunakan oleh pekerjaan.
jobUsedMemory	Jumlah memori yang digunakan oleh pekerjaan.
workspace	ID ruang kerja.
namespace	Nama namespace.
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan.

Job status changes (JOB_STATUS_CHANGED)

Parameter	Deskripsi
messageType	Jenis pesan. Tetap bernilai JOB_STATUS_CHANGED (perubahan status pekerjaan).
messageId	ID unik pesan.
timestamp	Timestamp saat pesan dihasilkan, dalam milidetik.
workspace	ID ruang kerja.
namespace	Nama namespace.
deploymentId	ID deployment pekerjaan.
deploymentName	Nama deployment pekerjaan.
jobId	ID instans pekerjaan.
previousStatus	Status pekerjaan sebelum perubahan.
currentStatus	Status pekerjaan setelah perubahan.
tag	Tag pekerjaan. Bidang ini kosong jika tidak ada tag yang dikonfigurasi.
additionalInfo	Informasi tambahan.

Referensi

Untuk mengonfigurasi logging untuk satu pekerjaan, lihat Konfigurasikan output log pekerjaan.
Untuk melihat log di Konsol pengembangan Realtime Compute for Apache Flink, lihat Lihat log startup dan running, Lihat event running, Lihat log exception running, dan Lihat log instans pekerjaan historis.