Fitur pengiriman pesan memungkinkan Anda mengirim log startup pekerjaan Flink, data penggunaan sumber daya, dan event pekerjaan ke antrian pesan eksternal atau sistem penyimpanan secara real time. Fitur ini mendukung persistensi data, retensi log historis, integrasi fleksibel, serta analisis real time, dan memungkinkan kueri ad-hoc terhadap data historis untuk troubleshooting, optimasi kinerja, dan analisis audit. Topik ini menjelaskan cara mengonfigurasi pengiriman pesan dan melihat pesan yang telah dikirim.
Informasi latar belakang
Anda dapat mengirimkan pesan lintas wilayah. Tabel berikut mencantumkan jenis pesan yang didukung beserta waktu pengirimannya.
Kategori | Deskripsi | Waktu pengiriman |
Job startup logs | Log yang dihasilkan selama seluruh proses startup—mulai dari inisialisasi lingkungan Flink hingga startup JobManager dan pembuatan graf eksekusi Flink. | Pengiriman dilakukan satu kali ketika pekerjaan berhasil dimulai atau mencapai status akhir (gagal atau selesai). |
Resource usage |
Penting Ini hanya untuk pelacakan kapasitas sumber daya. Fitur ini tidak mendukung alerting. | Untuk namespace aktif, data penggunaan sumber daya dikirim setiap 30 detik. |
Job events | Status startup pada setiap titik waktu selama proses startup pekerjaan. | Setiap job event memicu pengiriman segera. |
Job resource consumption | Data penggunaan sumber daya hanya untuk pekerjaan streaming yang sedang berjalan. Pekerjaan batch dan pekerjaan yang berjalan di session cluster tidak termasuk. | Selama pekerjaan berjalan, data konsumsi sumber daya dikirim setiap 10 menit. |
Catatan penggunaan
Pesan hanya dapat dikirim ke Simple Log Service (SLS). Anda harus membuat proyek SLS dan Logstore terlebih dahulu. Untuk detailnya, lihat Kumpulkan dan analisis log teks ECS menggunakan LoongCollector.
Fitur pengiriman pesan itu sendiri gratis. Namun, penggunaan fitur SLS—seperti pengindeksan Logstore—akan dikenakan biaya trafik. Untuk detailnya, lihat Ikhtisar penagihan.
Untuk melakukan kueri dan analisis log di SLS, aktifkan pengindeksan. Pengindeksan menghasilkan trafik indeks dan menggunakan storage space. Anda yang menentukan apakah akan mengaktifkannya atau tidak. Untuk detail harga, lihat Ikhtisar penagihan.
Anda dapat mengatur server-side encryption untuk Logstore Anda. Pengiriman session record mewarisi pengaturan ini. Untuk detailnya, lihat Enkripsi data.
Pengiriman pesan hanya mendukung job startup logs ke SLS. Untuk mengeluarkan job runtime logs ke OSS, SLS, atau Kafka, gunakan metode lain. Untuk langkah-langkah konfigurasinya, lihat Konfigurasi output log pekerjaan.
Perubahan pada pengaturan pengiriman pesan memerlukan waktu hingga 10 detik untuk berlaku.
Prosedur
Langkah 1: Konfigurasi saluran pengiriman pesan
Buka halaman konfigurasi pengiriman pesan.
Masuk ke Realtime Compute for Apache Flink management console.
Klik Actions, lalu klik Console untuk ruang kerja target Anda.
Pada panel navigasi di sebelah kiri, pilih .
Konfigurasi parameter pengiriman pesan SLS.
Pada tab Message Delivery Configuration, aktifkan Deliver to SLS.
Konfigurasi pengaturan SLS.
Parameter
Deskripsi
Authorization mode
STS Token: Gunakan mode ini untuk mengirim pesan hanya ke Logstore dalam proyek SLS yang berada di wilayah yang sama dengan ruang kerja Flink Anda. Anda hanya perlu menentukan proyek SLS dan Logstore.
AccessKey: Gunakan mode ini untuk mengirim pesan ke Logstore dalam proyek SLS yang berada di wilayah mana pun. Anda harus menentukan endpoint, ID AccessKey, dan rahasia AccessKey.
SLS project
Nama proyek SLS Anda.
SLS Logstore
SLS Logstore
Endpoint
URL endpoint untuk layanan SLS.
Ketika authorization mode adalah STS Token, sistem secara otomatis mengatur endpoint ke yang sesuai dengan wilayah ruang kerja Flink Anda. Ketika authorization mode adalah AccessKey, Anda perlu mengonfigurasinya secara manual.
Delivery scope
Konten pesan spesifik. Untuk detailnya, lihat Deskripsi field.
AccessKeyId
ID AccessKey dan rahasia AccessKey Akun Alibaba Cloud Anda.
PentingUntuk mencegah eksposur pasangan AccessKey Anda, kelola menggunakan variabel. Klik panah drop-down untuk memilih variabel yang sudah ada, atau klik
di sisi kanan field untuk membuat yang baru.Untuk informasi lebih lanjut tentang manajemen variabel dan cara melihat ID AccessKey serta rahasianya, lihat Manajemen variabel dan Bagaimana cara melihat ID AccessKey dan rahasia AccessKey saya?
AccessKeySecret
Klik Save.
Langkah 2: Lihat pesan yang telah dikirim
Prosedur
Klik SLS project, lalu klik Open the SLS console di sebelah kanan.
Lihat detail log mentah.
Deskripsi field
Makna field Topic untuk keempat jenis pesan adalah sebagai berikut.
Job startup logs (JOB_START_LOG)
Field | Deskripsi |
messageType | Jenis pesan. Nilainya tetap JOB_START_LOG. |
deploymentId | ID deployment pekerjaan. |
deploymentName | Nama deployment pekerjaan. |
jobId | ID instans pekerjaan. |
tag | Tag pekerjaan. Field ini kosong jika tidak ada tag yang dikonfigurasi. |
length | Panjang total log. |
offset | Posisi awal entri log ini saat log di-shard. |
content | Detail log startup pekerjaan. |
workspace | ID ruang kerja. |
namespace | Nama namespace. |
messageId | ID pesan. |
timestamp | Timestamp. |
Resource usage (JOB_RESOURCE_QUOTA)
Field | Deskripsi |
messageType | Jenis pesan. Nilainya tetap RESOURCE_QUOTA. |
namespaceTotalCpuMemory | Jumlah total Compute Unit (CU) dalam namespace. |
namespaceTotalCpu | Jumlah total CU dalam namespace. |
namespaceTotalMemory | Jumlah total memori dalam namespace. |
namespaceUsedCpuMemory | Jumlah CU yang dikonsumsi dalam namespace. |
namespaceUsedCpu | Jumlah CU yang dikonsumsi dalam namespace. |
namespaceUsedMemory | Jumlah memori yang digunakan dalam namespace. |
resourceQueueName | Nama antrian. |
resourceQueueTotalCpuMemory | Jumlah total CU dalam antrian. |
resourceQueueTotalCpu | Jumlah total CU dalam antrian. |
resourceQueueTotalMemory | Jumlah total memori dalam antrian. |
resourceQueueUsedCpuMemory | Jumlah CU yang dikonsumsi dalam antrian. |
resourceQueueUsedCpu | Jumlah CU yang dikonsumsi dalam antrian. |
resourceQueueUsedMemory | Jumlah memori yang digunakan dalam antrian. |
workspace | ID ruang kerja. |
namespace | Nama namespace. |
messageId | ID pesan. |
timestamp | Timestamp. |
Full job event delivery (JOB_EVENT)
Field | Deskripsi |
messageType | Jenis pesan. Nilainya tetap JOB_EVENT. |
deploymentId | ID deployment pekerjaan. |
deploymentName | Nama deployment pekerjaan. |
jobId | ID instans pekerjaan. |
tag | Tag pekerjaan. Field ini kosong jika tidak ada tag yang dikonfigurasi. |
eventId | ID event. |
eventName | Nama event. |
content | Detail log startup pekerjaan. |
workspace | ID ruang kerja. |
namespace | Nama namespace. |
messageId | ID pesan. |
timestamp | Timestamp. |
Job resource consumption (JOB_RESOURCE_USAGE)
Field | Deskripsi |
messageType | Jenis pesan. Nilainya tetap JOB_RESOURCE_USAGE. |
deploymentId | ID deployment pekerjaan. |
deploymentName | Nama deployment pekerjaan. |
jobId | ID instans pekerjaan. |
tag | Tag pekerjaan. Field ini kosong jika tidak ada tag yang dikonfigurasi. |
jobUsedCpu | Jumlah CU yang digunakan oleh pekerjaan. |
jobUsedMemory | Jumlah memori yang digunakan oleh pekerjaan. |
workspace | ID ruang kerja. |
namespace | Nama namespace. |
messageId | ID pesan. |
timestamp | Timestamp. |
Referensi
Untuk mengonfigurasi log untuk satu pekerjaan, lihat Konfigurasi output log pekerjaan.
Untuk melihat log di development console, lihat Lihat log startup dan operasional, Lihat event pekerjaan yang sedang berjalan, Lihat log exception, dan Lihat log instans pekerjaan historis.