Manajemen log SMQ - kueri dan analisis log permintaan pesan - Simple Message Queue (formerly MNS)

Fitur manajemen log Simple Message Queue (SMQ) mengirimkan log permintaan pesan ke Simple Log Service (SLS). Anda kemudian dapat menggunakan SLS untuk melakukan kueri dan menganalisis log permintaan guna memecahkan masalah produksi.

Kasus penggunaan

Masalah umum saat mengirim dan menerima pesan:

Pesan berhasil dikirim ke antrian, tetapi client konsumen tidak menerimanya. Ke mana perginya pesan tersebut?
Siapa yang mengonsumsi pesan tertentu? Berapa kali pesan tersebut dikonsumsi?
Client konsumen mengalami crash. Kapan pesan yang gagal dikonsumsi dapat dikonsumsi kembali?
Pesan dipublikasikan ke topik, tetapi endpoint belum menerimanya setelah waktu yang lama. Apa penyebab keterlambatan tersebut?

Manajemen log di SMQ mengatasi masalah-masalah ini:

Dorong log ke SLS dan lihat jejak pesan lengkap di Konsol.
Gunakan tool kueri yang disediakan di website resmi. Anda dapat menentukan parameter untuk melihat log pemrosesan pesan.

Penagihan

SMQ tidak membebankan biaya tambahan untuk fitur manajemen log.
Saat SMQ mendorong log ke SLS, SLS menagih Anda berdasarkan storage space, traffic, dan volume permintaan. Ikhtisar penagihan.

Format log antrian

Operasi pesan antrian (send, consume, delete) menghasilkan entri log. Bidang yang disertakan bervariasi tergantung operasinya.

Bidang log

Entri log antrian dapat mencakup bidang-bidang berikut.

Field	Description
Time	Timestamp operasi.
MessageId	ID pesan unik.
QueueName	Nama antrian target.
AccountId	ID akun pemilik antrian.
RemoteAddress	Alamat IP client.
NextVisibleTime	Kapan pesan menjadi terlihat kembali.
ReceiptHandleInRequest	`ReceiptHandle` yang diberikan oleh client.
ReceiptHandleInResponse	`ReceiptHandle` yang dikembalikan ke client.
ProcessTime	Waktu pemrosesan operasi.
RequestId	ID permintaan.
Action	Aksi, seperti `DeleteMessage` atau `SendMessage`.

Bidang berdasarkan operasi

Tabel berikut menunjukkan bidang mana saja yang disertakan dalam setiap operasi.

Operation	Time	QueueName	AccountId	MessageId	RemoteAddress	NextVisibleTime	ReceiptHandleInResponse	ReceiptHandleInRequest
SendMessage/BatchSendMessage	Yes	Yes	Yes	Yes	Yes	Yes	No	No
PeekMessage/BatchPeekMessage	Yes	Yes	Yes	Yes	Yes	No	No	No
ReceiveMessage/BatchReceiveMessage	Yes	Yes	Yes	Yes	Yes	Yes	Yes	No
ChangeMessageVisibility	Yes	Yes	Yes	Yes	Yes	Yes	Yes	Yes
DeleteMessage/BatchDeleteMessage	Yes	Yes	Yes	Yes	Yes	Yes	No	Yes

Format log topik

Operasi pesan topik (publish dan push) menghasilkan entri log. Bidang yang disertakan bervariasi tergantung operasinya.

Bidang log

Entri log topik dapat mencakup bidang-bidang berikut.

Field	Description
Time	Timestamp operasi.
MessageId	ID pesan unik.
TopicName	Nama topik target.
SubscriptionName	Nama langganan.
AccountId	ID akun pemilik topik.
RemoteAddress	Alamat IP client.
NotifyStatus	Kode status atau error dari endpoint saat SMQ mendorong pesan.
ProcessTime	Waktu pemrosesan operasi.
MessageTag	Tag pesan.
RequestId	ID permintaan.
Action	Aksi, seperti `PublishMessage` atau `Notify`.

Bidang berdasarkan operasi

Tabel berikut menunjukkan bidang mana saja yang disertakan dalam setiap operasi.

Operation	Time	MessageId	TopicName	SubscriptionName	AccountId	RemoteAddress	NotifyStatus	MessageTag
PublishMessage	Yes	Yes	Yes	No	Yes	Yes	No	No
Notify	Yes	Yes	Yes	Yes	Yes	No	Yes	Yes

NotifyStatus

Bidang NotifyStatus dalam log push menunjukkan alasan kegagalan SMQ dalam mengirimkan pesan. Pecahkan masalah berdasarkan nilai-nilai berikut.

Error code	Description	Recommended action
2xx	Pesan berhasil didorong.	Tidak ada.
Other HTTP status codes	Endpoint mengembalikan kode status non-2xx.	Periksa logika pemrosesan di endpoint Anda.
InvalidHost	Endpoint langganan tidak valid.	Verifikasi bahwa endpoint langganan valid dan dapat diakses dengan `curl` atau `telnet`.
ConnectTimeout	Koneksi ke endpoint langganan mengalami timeout.	Verifikasi bahwa endpoint langganan dapat diakses dengan `curl` atau `telnet`.
ConnectFailure	Koneksi ke endpoint langganan gagal.	Verifikasi bahwa endpoint langganan dapat diakses dengan `curl` atau `telnet`.
UnknownError	Terjadi error yang tidak diketahui.	Hubungi dukungan teknis SMQ.

Operasi log

Sebelum menggunakan manajemen log, pastikan hal-hal berikut:

Buat antrian dan topik di SMQ. Manage queues. Manage topics.

Buat project dan Logstore di SLS. Manage a Project. Create a Logstore.

Log operasi untuk layanan SMQ hanya dapat didorong ke Project SLS di wilayah yang sama.
Otorisasi SMQ untuk mengekspor log dengan peran RAM AliyunMNSLoggingRole.

Klik Cloud Resource Access Authorization dan ikuti petunjuk di layar untuk menyelesaikan otorisasi.

Peringatan
Jangan mencabut otorisasi atau menghapus peran RAM tersebut. Jika tidak, log SMQ tidak dapat didorong ke SLS.

Aktifkan atau nonaktifkan logging

Aktifkan atau nonaktifkan logging antrian

Masuk ke Konsol Simple Message Queue (formerly MNS).
Di panel navigasi sebelah kiri, klik Queues.
Di bilah menu atas, pilih wilayah.
Di halaman Queues, temukan antrian target. Di kolom Actions, pilih > Edit.
Di panel Edit Queue Parameters, aktifkan atau nonaktifkan sakelar Enable Logging Feature.

Di halaman Queues, kolom Logging untuk antrian target menampilkan Enabled atau Disabled.

Aktifkan atau nonaktifkan logging topik

Masuk ke Konsol Simple Message Queue (formerly MNS).
Di panel navigasi sebelah kiri, klik Topics.
Di bilah menu atas, pilih wilayah.
Di halaman Topics, temukan topik target, lalu klik Edit di kolom Actions.
Di panel Edit Topic Parameters, aktifkan atau nonaktifkan sakelar Enable Logging Feature.

Di halaman Topics, kolom Logging untuk topik target menampilkan Enabled atau Disabled.

Dorong log ke SLS

Prosedur

Masuk ke Konsol Simple Message Queue (formerly MNS).
Di panel navigasi sebelah kiri, klik Logging.
Di bilah menu atas, pilih wilayah.
Di halaman Logging, pada tab Select Target, pilih Simple Log Service (SLS).
Di tab Configure Target, pilih Project Name dan Logstore Name, lalu klik Enable.

Halaman Logging menampilkan Project dan Logstore yang telah dikonfigurasi.

Lihat log

Prosedur

Masuk ke Konsol Simple Log Service.
Di bagian Projects, klik project yang diinginkan.
Di tab Log Storage > Logstores, klik Logstore target.
Masukkan pernyataan kueri dan klik Last 15 Minutes untuk mengatur rentang waktu. Quick start for search and analysis.

Contoh analisis log

Kueri jejak pesan antrian

Untuk melacak pesan antrian, lakukan kueri berdasarkan nama antrian dan ID pesan: $QueueName and $MessageId. Contoh: log and EED287A265726135146E6A9CADC8XXXX.

Hasilnya menunjukkan siklus hidup pesan dari pengiriman hingga penerimaan.

Dua entri log tersebut memiliki MessageId yang sama. Entri 5 sesuai dengan operasi SendMessage, dan entri 4 sesuai dengan operasi ReceiveMessage.

4  10-21 16:50:57  MNSLogging  1603270323

  NextVisibleTime :1603270287
  ProcessTime :2
  ReceiptHandleInResponse :8-BBMzv7glMLMzuzazpcz0z6GXz23TAhoSh7bA
  Time :2020-10-21 16:50:57.097000
  AccountId :1xxx xxx5
  Action :ReceiveMessage
    MessageId :EED287A265726135146E6A9CADC8xxx
    RequestId :5F8FF671454539F442BF7CE9
    RemoteAddress :1xxx xxx4
    QueueName :sgw-express-sync-queue-gw-0008q1m4pv7qjse4na31-5796

5  10-21 16:50:53  MNSLogging  1603270327

  NextVisibleTime :1603270253
  ProcessTime :1
  Time :2020-10-21 16:50:53.001000
  AccountId :17xxx xxx2745
  Action :SendMessage
    MessageId :EED287A265726135146E6A9CADC8xxx
    RequestId :5F8FF66D3030359405DF281F
    RemoteAddress :xxx xxx1
    QueueName :sgw-express-sync-queue-gw-0008q1m4pv7qjse4na31-5796

Kueri jejak pesan topik

Untuk melacak pesan topik, lakukan kueri berdasarkan nama topik dan ID pesan: $TopicName and $MessageId. Contoh: logtest and 8798453B65727FC6433E6AB4F746XXXX.

Hasilnya menunjukkan siklus hidup pesan dari publikasi hingga notifikasi.

4  10-21 16:50:57  MNSLogging  1603270323

  NextVisibleTime :1603270287
  ProcessTime :2
  ReceiptHandleInResponse :8-BBMzv7glMLMzuzazpcz0z6GXz23TAhoSh7bA
  Time :2020-10-21 16:50:57.097000
  AccountId :1xxx xxx5
  Action :ReceiveMessage
    MessageId :EED287A265726135146E6A9CADC8xxx
    RequestId :5F8FF671454539F442BF7CE9
    RemoteAddress :1xxx xxx4
    QueueName :sgw-express-sync-queue-gw-0008q1m4pv7qjse4na31-5796

5  10-21 16:50:53  MNSLogging  1603270327

  NextVisibleTime :1603270253
  ProcessTime :1
  Time :2020-10-21 16:50:53.001000
  AccountId :17xxx xxx2745
  Action :SendMessage
    MessageId :EED287A265726135146E6A9CADC8xxx
    RequestId :5F8FF66D3030359405DF281F
    RemoteAddress :xxx xxx1
    QueueName :sgw-express-sync-queue-gw-0008q1m4pv7qjse4na31-5796

Kueri pesan antrian yang dikirim

Untuk mengkueri pesan yang dikirim ke antrian, gunakan nama antrian dan operasi pengiriman: $QueueName and (SendMessage or BatchSendMessage). Contoh: log and (SendMessage or BatchSendMessage).

Setelah Anda memasukkan pernyataan kueri dan mengatur rentang waktu (misalnya, Last 15 Minutes (Relative)), klik Query/Analyze. Hasil kueri menunjukkan bahwa produsen mengirim tiga pesan ke antrian log dalam rentang waktu yang ditentukan. Setiap entri log berisi bidang seperti Action, QueueName, MessageId, RequestId, dan AccountId.

Kueri pesan topik yang dipublikasikan

Untuk mengkueri pesan yang dipublikasikan ke topik, gunakan nama topik dan operasi publikasi: $TopicName and PublishMessage. Contoh: logtest and PublishMessage.

Setelah menjalankan kueri, hasilnya menunjukkan bahwa tiga pesan dipublikasikan oleh produsen ke topik logtest dalam rentang waktu yang ditentukan. Setiap catatan log berisi bidang termasuk TopicName (nilai: logtest), Action (nilai: PublishMessage), ProcessTime, Time, AccountId, MessageId, RequestId, RemoteAddress, dan MessageTag.

Kueri pesan antrian yang dikonsumsi

Untuk mengkueri pesan yang dikonsumsi dari antrian, gunakan nama antrian dan operasi konsumsi: $QueueName and (ReceiveMessage or BatchReceiveMessage). Contoh: log and (ReceiveMessage or BatchReceiveMessage).

Setelah menjalankan kueri, hasilnya menunjukkan bahwa 12 pesan dikonsumsi dari antrian log dalam rentang waktu yang ditentukan. Dalam detail log, bidang Action bernilai ReceiveMessage dan bidang QueueName bernilai log, yang mengonfirmasi bahwa catatan konsumsi antrian yang ditentukan cocok.

Kueri pesan antrian yang dihapus

Untuk mengkueri pesan yang dihapus dari antrian, gunakan nama antrian dan operasi penghapusan: $QueueName and (DeleteMessage or BatchDeleteMessage). Contoh: log and (DeleteMessage or BatchDeleteMessage).

Klik Query/Analyze. Hasil kueri menunjukkan bahwa 61 pesan dihapus dari antrian log dalam rentang waktu yang ditentukan. Dalam detail log, bidang Action bernilai DeleteMessage dan bidang QueueName bernilai log.

Kueri pesan berdasarkan client

Untuk mengkueri pesan yang diproses oleh client tertentu, gunakan alamat IP client: $ClientIP. Contoh: 10.10.10.0.

Untuk memfilter berdasarkan jenis operasi, gabungkan kata kunci. Contoh: $ClientIP and (SendMessage or BatchSendMessage).

Setelah memasukkan pernyataan kueri, klik Query/Analyze dan gunakan pemilih waktu di sebelah kanan untuk mengatur rentang waktu (misalnya, Last 15 Minutes (Relative)). Hasil kueri menunjukkan bahwa client tersebut memproses 66 pesan dalam rentang waktu yang ditentukan. Halaman menampilkan status Query Results sebagai Precise dan Log Count, serta histogram hasil kueri menunjukkan distribusi log sepanjang waktu.