全部產品
Search
文件中心

Microservices Engine:事件中心事件匯總

更新時間:Nov 27, 2024

MSE事件中心對註冊配置中心、微服務治理、雲原生網關產生的事件數目據進行整合,讓您感知所有MSE託管資源的事件變更,並針對例外狀況事件進行自主排查。本文介紹微服務引擎MSE支援的所有事件,並為各事件提供處理建議。

Nacos

事件Code

事件名稱

事件等級

CloudMonitor事件名稱

事件說明和影響

事件處理建議

Nacos:TPSRateLimit

Nacos用戶端TPS限流

警告

Nacos:TPSRateLimit:Normal:Nacos叢集用戶端TPS過高,即將限流(監視模式)

用戶端訪問Nacos引擎的TPS過高,為保護Nacos引擎穩定運行,即將進行請求限流,當前處於監視模式,超出TPS的請求不會被拒絕訪問。

升級叢集配置或擴容節點,並檢查是否有錯誤使用導致TPS過高。如:頻繁調用Nacos openAPI,多次建立Nacos Client等問題。

嚴重

Nacos:TPSRateLimit:Executing:Nacos用戶端TPS限流

用戶端訪問Nacos引擎的TPS過高,為保護Nacos引擎穩定運行,進行請求限流,將導致部分超出TPS的請求被拒絕訪問。

升級叢集配置或擴容節點,並檢查是否有錯誤使用導致TPS過高。如:頻繁調用Nacos openAPI,多次建立Nacos Client等問題。

Nacos:ConfigCapLimit

Nacos叢集配置數限流

警告

Nacos:ConfigCapLimit:Normal:Nacos叢集當前配置數過多,即將限流(監視模式)

超過Nacos叢集預設配置的個數上限(10000個),即將進行配置建立限流,當前處於監視模式,不會禁止建立配置,不影響發布新配置。

及時清理不使用的配置內容,同時排查是否存在應用自動發布大量配置的情況。

嚴重

Nacos:ConfigCapLimit:Executing:Nacos叢集配置數限流

超過Nacos叢集預設配置的個數上限(10000個),進行配置建立限流,將導致禁止建立配置,影響發布新配置。

及時清理不使用的配置內容,同時排查是否存在應用自動發布大量配置的情況。

Nacos:ServiceCapLimit

Nacos叢集服務數限流

警告

Nacos:ServiceCapLimit:Normal:Nacos叢集服務數過多,即將限流(監視模式)

註冊了過多的服務,達到叢集儲存上限,為保護Nacos引擎穩定運行,即將進行服務註冊限流,當前處於監視模式,不導致無法註冊新的服務及服務提供者。

升級叢集配置或擴容節點,並檢查是否存在錯誤的發布服務,重複發布服務或多次建立Nacos Client等問題。

嚴重

Nacos:ServiceCapLimit:Executing:Nacos叢集服務數限流

註冊了過多的服務,達到叢集儲存上限,為保護Nacos引擎穩定運行,進行服務註冊限流,將導致無法註冊新的服務及服務提供者。

升級叢集配置或擴容節點,並檢查是否存在錯誤的發布服務,重複發布服務或多次建立Nacos Client等問題。

Nacos:ConnectionCapLimit

Nacos叢集串連數限流

警告

Nacos:ConnectionCapLimit:Normal:Nacos叢集串連數過多,即將限流(監視模式)

有過多的用戶端串連到Nacos引擎,達到叢集上限,為保護Nacos引擎穩定運行,即將進行建立串連限流,當前處於監視模式,新建立的Nacos Client仍然可以串連到Nacos引擎。

升級叢集配置或擴容節點,並檢查是否存在錯誤的使用方式,比如:重複多次建立Nacos Client,未關閉Nacos Client導致串連泄漏等問題。

嚴重

Nacos:ConnectionCapLimit:Executing:Nacos叢集串連數限流

有過多的用戶端串連到Nacos引擎,達到叢集上限,為保護Nacos引擎穩定運行,進行建立串連限流,將導致新建立的Nacos Client無法串連到Nacos引擎。

升級叢集配置或擴容節點,並檢查是否存在錯誤的使用方式,比如:重複多次建立Nacos Client,未關閉Nacos Client導致串連泄漏等問題。

Nacos:ParametersIllegalDenied

Nacos叢集請求參數不合法

警告

Nacos:ParametersIllegalDenied:Normal:Nacos叢集請求參數不合法,即將限流(監視模式)

用戶端請求Nacos叢集的參數不合法,服務端即將拒絕不合法的參數,當前處於監視模式,仍然會返回正常結果。

檢查用戶端請求參數是否符合規範。

嚴重

Nacos:ParametersIllegalDenied:Executing:Nacos叢集請求參數不合法,觸發限流

用戶端請求Nacos叢集的參數不合法,服務端將拒絕不合法的參數,返回錯誤碼。

檢查用戶端請求參數是否符合規範。

Nacos:CPUAlert

Nacos叢集CPU使用率過高

警告

Nacos:CPUAlert:Executing:Nacos叢集當前CPU使用率過高

Nacos叢集CPU使用率過高,負載過大。可能影響後續請求的回應時間,甚至導致請求無法響應。

升級叢集配置或擴容節點,並檢查是否有錯誤使用導致負載過高。

Nacos:MemoryAlert

Nacos叢集記憶體使用量率過高

警告

Nacos:MemoryAlert:Executing:Nacos叢集當前記憶體使用量率過高

Nacos叢集記憶體使用量率過高,存在OOM Killer的風險。可能導致Nacos節點重啟。

升級叢集配置。

Nacos:FullGc

Nacos叢集發生(長時間/多次)FullGC

警告

Nacos:FullGc:Executing:Nacos叢集發生(長時間/多次)FullGC

Nacos叢集頻繁觸發Full GC,容量已不足。可能影響後續請求的回應時間,甚至導致請求無法響應。

升級叢集配置或擴容節點,並檢查是否因操作不當導致容量不足。

Nacos:TooManyConfigAlert

Nacos叢集配置數量過多

警告

Nacos:TooManyConfigAlert:Nacos叢集配置數量過多

超過Nacos叢集預設配置的個數上限(10000個),超過部分將禁止建立配置。可能影響發布新配置。

清理無用配置。

Nacos:TooManyConfigLongPolling

Nacos叢集配置長輪詢數量過多

警告

Nacos:TooManyConfigLongPolling:Nacos叢集配置長輪詢數量過多

Nacos叢集配置中心監聽者數量過多,負載過高。可能頻繁觸發FullGC,影響後續請求的回應時間,甚至導致請求無法響應。

升級叢集配置或擴容節點,並檢查是否因操作不當導致容量不足。

Nacos:ProviderDropTooFast

Nacos叢集服務提供者環比下跌比例過高

警告

Nacos:ProviderDropTooFast:Executing:Nacos叢集服務提供者環比下跌比例過高

比較目前時間和3分鐘前的Nacos叢集服務提供者數,發現Nacos叢集服務提供者下跌超過50%,可能導致業務上遊服務無法找到下遊服務提供者。

檢查是否有大規模應用程式中斷或網路故障。如因預期內的大規模發布而產生,可忽略該事件。

Zookeeper

事件Code

事件名稱

事件等級

CloudMonitor事件名稱

事件說明和影響

事件處理建議

ZooKeeper:ExceedEphemeralLimit

ZooKeeper單個session建立臨時節點超過限制(limit=2000)

嚴重

ZooKeeper:ExceedEphemeralLimit:ZooKeeper單個session建立臨時節點超過限制(limit=2000)

單Session節點下建立過多的臨時節點。可能導致該Session中新的臨時節點建立失敗。

  • 檢查業務代碼,是否錯誤建立了過多臨時節點。

  • 若使用Dubbo,檢查Dubbo版本並升級至最新版本。

  • 增加jute.maxbuffer配置,防止宕機恢複失敗。

ZooKeeper:FullGc

ZooKeeper叢集發生(長時間/多次)FullGC

警告

ZooKeeper:CMSGc:Executing:ZooKeeper叢集發生(長時間/多次)FullGC

Full GC時間過長。可能導致處理延時增大,響應逾時,導致觸發自愈重啟。

  • 檢查ZooKeeper版本,並升級至最新版本。

  • 容量不足,若持續觸發,建議擴容。

ZooKeeper:CPUAlert

ZooKeeper叢集CPU使用率過高

警告

ZooKeeper:CPUAlert:Executing:ZooKeeper叢集CPU使用率過高中

CPU過高。可能導致處理延時增大,響應逾時,導致觸發自愈重啟

容量不足,若持續過高,建議擴容。

雲原生網關

事件Code

事件名稱

事件等級

CloudMonitor事件名稱

事件說明和影響

事件處理建議

Gateway:ElasticScaleOut

雲原生網關彈性擴容

警告

Gateway:ElasticScaleOut:Failed:雲原生網關彈性擴容執行失敗

執行彈性擴容時,雲原生網關會根據擴容所處的狀態產生此事件。

根據控制台事件詳情指引進行排查。

資訊

Gateway:ElasticScaleOut:Executing:雲原生網關彈性擴容執行中

按需關注。

資訊

Gateway:ElasticScaleOut:Executed:雲原生網關彈性擴容執行成功

按需關注。

Gateway:ElasticScaleIn

雲原生網關彈性縮容

警告

Gateway:ElasticScaleIn:Failed:雲原生網關彈性縮容執行失敗

執行彈性縮容時,雲原生網關會根據縮容所處的狀態產生此事件。

根據控制台事件詳情指引進行排查。

資訊

Gateway:ElasticScaleIn:Executing:雲原生網關彈性縮容執行中

按需關注。

資訊

Gateway:ElasticScaleIn:Executed:雲原生網關彈性縮容執行成功

按需關注。

Gateway:ElasticOpen

雲原生網關彈性開啟

警告

Gateway:ElasticOpen:Failed:雲原生網關彈性開啟失敗

開啟自動擴容時,雲原生網關會根據開啟結果產生此事件。

根據控制台事件詳情指引進行排查。

資訊

Gateway:ElasticOpen:Executed:雲原生網關彈性開啟成功

按需關注。

Gateway:ElasticClose

雲原生網關彈性關閉

警告

Gateway:ElasticClose:Failed:雲原生網關彈性關閉失敗

關閉自動擴容時,雲原生網關會根據關閉結果產生此事件。

根據控制台事件詳情指引進行排查。

資訊

Gateway:ElasticClose:Executed:雲原生網關彈性關閉成功

按需關注。

Gateway:ElasticStrategyUpdate

雲原生網關彈性策略更新

警告

Gateway:ElasticStrategyUpdate:Failed:雲原生網關彈性策略更新失敗

自動擴容處於開啟狀態時,雲原生網關會更新自動擴容策略,並根據更新結果產生此事件。

根據控制台事件詳情指引進行排查。

資訊

Gateway:ElasticStrategyUpdate:Executed:雲原生網關彈性策略更新成功

按需關注。

微服務治理

事件Code

事件名稱

事件等級

CloudMonitor事件名稱

事件說明和影響

事件處理建議

Governance:FlowTrafficBlock

微服務治理應用介面觸發流控規則

警告

Governance:FlowTrafficBlock:Executing:微服務治理應用介面流控規則引發中

微服務治理應用配置的介面流控規則引發時,產生此事件。

介面出現突發流量,建議持續觀察。

Governance:CircleBreakerTrafficBlock

微服務治理應用介面觸發熔斷規則

警告

Governance:CircleBreakerTrafficBlock:Executing:微服務治理應用介面熔斷規則引發中

微服務治理應用配置的熔斷規則引發時,會產生此事件。

下遊介面出現不穩定情況(慢調用、異常服務等),建議檢查下遊依賴。

Governance:ParamsTrafficBlock

微服務治理應用介面觸發熱點防護規則

警告

Governance:ParamsTrafficBlock:Executing:微服務治理應用介面流控規則引發中

微服務治理應用配置的熱點參數防護規則引發時,產生此事件。

出現熱點參數調用,建議對相關資料進行預熱。

Governance:GracefulShutdown

微服務無損下線

資訊

Governance:GracefulShutdown:微服務無損下線

微服務無損下線完成時,產生該事件,即應用接入MSE後無損下線能力自動開啟。

按需關注。

Governance:RegistrationFinish

微服務註冊上線

資訊

Governance:RegistrationFinish:微服務註冊上線

開啟無損上線後,微服務註冊上線完成時,產生此事件。

按需關注。

Governance:WarmupStart

微服務預熱開始

資訊

Governance:WarmupStart:微服務預熱開始

開啟無損上線後,微服務治理應用的新執行個體開始流量預熱時,產生此事件。

按需關注。

Governance:WarmupEnd

微服務預熱完成

資訊

Governance:WarmupEnd:微服務預熱完成

開啟無損上線後,微服務治理應用的新執行個體流量預熱完成時,產生此事件。

按需關注。

Governance:ReadinessFinish

微服務通過K8s的Readiness檢測

資訊

Governance:ReadinessFinish:微服務通過K8s的Readiness檢測

開啟無損上線後,微服務治理應用完成Kubernetes的Readiness檢測時,產生此事件。

按需關注。

Governance:GracefulShutdown

微服務手動下線

資訊

Governance:GracefulShutdown:微服務手動下線

在微服務治理控制台的節點詳情中,對節點執行服務下線操作並且操作生效時,會產生該事件。

按需關注。

Governance:RegistrationFinish

微服務手動上線

資訊

Governance:RegistrationFinish:微服務手動上線

在微服務治理控制台的節點詳情中,對節點執行服務上線操作並且操作生效時,會產生該事件。

按需關注。

Governance:ApplicationStop

微服務應用停機

資訊

Governance:ApplicationStop:微服務應用停機

開啟無損下線後,微服務治理應用在執行完無損下線流程後,開始真正停機之前,會產生該事件。

按需關注。