ApsaraMQ for Kafka：使用雲訊息佇列 Kafka 版時出現訊息堆積

判斷訊息堆積是否屬於正常情況

如果發現Group中出現訊息堆積，請參見下列步驟，判斷訊息堆積是否屬於正常情況：

1. 登入雲訊息佇列 Kafka 版控制台。

2. 在頂部功能表列，選擇地區。

3. 在左側導覽列，單擊執行個體列表。

4. 在執行個體列表頁面，單擊目標執行個體名稱。

5. 在執行個體詳情頁面，單擊左側功能表列中的Group管理。

6. 在Group管理頁面，找到目標Group，在其操作列，選擇更多>消費狀態 。

7. 在消費狀態頁簽，每間隔1分鐘記錄一次各個Topic分區的最近消費時間、堆積量和訊息位點，然後進行下列判斷：

   說明

   訊息位點可通過單擊詳情按鈕進行查看。

   • 最近消費時間與目前時間接近，並且堆積量保持在一個穩定的數值之間波動，沒有持續擴大。 說明用戶端一直在拉取最新訊息，沒有訊息堆積，屬於正常情況。

     說明

     訊息堆積量會根據訊息量、消費端位點提交頻率的變化而變化，數值大並不一定表示堆積。例如，某個Topic的發送頻率為10000 tps，消費端位點提交頻率為1 s提交1次，正常情況下展示的堆積量可能會一直在10000左右波動，但並非意味著訊息堆積了。

   • 堆積量逐步擴大，並且訊息位點一直不變。 用戶端的消費線程因為某些原因卡住，沒有繼續消費，也沒有繼續向服務端提交位點，屬於異常情況，即訊息的確堆積了。請參見下文的訊息堆積的處理方式章節進行處理。

   • 堆積量逐步擴大，同時消費位點在前進。 說明用戶端還在消費中，但是訊息的消費速度慢於訊息的發送速度。由於訊息是用戶端主動從服務端批量拉取，用戶端消費流程中的步驟1一般不會是消費的瓶頸。此時，需要排查步驟2的消費耗時，請參見下文的訊息堆積的處理方式章節進行處理。

     說明

     訊息堆積大多是消費速度過慢或者消費線程阻塞造成的，建議不要在消費邏輯中有太多耗時的操作。

   • 分區訊息堆積，下遊消費卻無異常。下遊可能採用了assign消費模式，位點是您自己管理的。這種情況下雖然顯示了堆積，實際上您可能已經消費了，但是沒有提交位點。建議您及時手動提交位點解決訊息堆積問題。

   • 若執行個體觸發了消費限流，消費者並非完全無法拉取訊息，而是消費速度受限，導致部分訊息不能被及時消費，從而產生堆積。此時控制台顯示的堆積量會上升，但消費位點仍在緩慢前進。建議結合執行個體監控確認是否觸發限流。

   • 通常情況下，單個 Topic 的訊息大量堆積不會直接影響同執行個體下其他 Topic 的正常消費。但如果堆積引發了磁碟讀 IOPS 或流量過高（即冷讀風險），則可能間接影響整體執行個體效能，導致其他 Topic 消費也變慢。建議在排查時關注執行個體層級的磁碟 IO 和網路流量監控指標。

訊息堆積的處理方式

經過上述判斷，確認訊息的確存在堆積情況時，建議列印訊息的消費耗時，或者根據堆棧資訊查看線程執行情況。根據以下方案適當調整以加快訊息的消費速度，避免出現訊息堆積。

相關文檔

• 關於Jstack的更多資訊，請參見Oracle JDK中Jstack命令的介紹。

• 更多常見問題，請參見雲訊息佇列 Kafka 版使用中的常見問題。