MSE事件中心對註冊配置中心、微服務治理、雲原生網關產生的事件數目據進行整合,讓您感知所有MSE託管資源的事件變更,並針對例外狀況事件進行自主排查。本文介紹微服務引擎MSE支援的所有事件,並為各事件提供處理建議。
Nacos
事件Code | 事件名稱 | 事件等級 | CloudMonitor事件名稱 | 事件說明和影響 | 事件處理建議 |
Nacos:TPSRateLimit | Nacos用戶端TPS限流 | 警告 | Nacos:TPSRateLimit:Normal:Nacos叢集用戶端TPS過高,即將限流(監視模式) | 用戶端訪問Nacos引擎的TPS過高,為保護Nacos引擎穩定運行,即將進行請求限流,當前處於監視模式,超出TPS的請求不會被拒絕訪問。 | 升級叢集配置或擴容節點,並檢查是否有錯誤使用導致TPS過高。如:頻繁調用Nacos openAPI,多次建立Nacos Client等問題。 |
嚴重 | Nacos:TPSRateLimit:Executing:Nacos用戶端TPS限流 | 用戶端訪問Nacos引擎的TPS過高,為保護Nacos引擎穩定運行,進行請求限流,將導致部分超出TPS的請求被拒絕訪問。 | 升級叢集配置或擴容節點,並檢查是否有錯誤使用導致TPS過高。如:頻繁調用Nacos openAPI,多次建立Nacos Client等問題。 | ||
Nacos:ConfigCapLimit | Nacos叢集配置數限流 | 警告 | Nacos:ConfigCapLimit:Normal:Nacos叢集當前配置數過多,即將限流(監視模式) | 超過Nacos叢集預設配置的個數上限(10000個),即將進行配置建立限流,當前處於監視模式,不會禁止建立配置,不影響發布新配置。 | 及時清理不使用的配置內容,同時排查是否存在應用自動發布大量配置的情況。 |
嚴重 | Nacos:ConfigCapLimit:Executing:Nacos叢集配置數限流 | 超過Nacos叢集預設配置的個數上限(10000個),進行配置建立限流,將導致禁止建立配置,影響發布新配置。 | 及時清理不使用的配置內容,同時排查是否存在應用自動發布大量配置的情況。 | ||
Nacos:ServiceCapLimit | Nacos叢集服務數限流 | 警告 | Nacos:ServiceCapLimit:Normal:Nacos叢集服務數過多,即將限流(監視模式) | 註冊了過多的服務,達到叢集儲存上限,為保護Nacos引擎穩定運行,即將進行服務註冊限流,當前處於監視模式,不導致無法註冊新的服務及服務提供者。 | 升級叢集配置或擴容節點,並檢查是否存在錯誤的發布服務,重複發布服務或多次建立Nacos Client等問題。 |
嚴重 | Nacos:ServiceCapLimit:Executing:Nacos叢集服務數限流 | 註冊了過多的服務,達到叢集儲存上限,為保護Nacos引擎穩定運行,進行服務註冊限流,將導致無法註冊新的服務及服務提供者。 | 升級叢集配置或擴容節點,並檢查是否存在錯誤的發布服務,重複發布服務或多次建立Nacos Client等問題。 | ||
Nacos:ConnectionCapLimit | Nacos叢集串連數限流 | 警告 | Nacos:ConnectionCapLimit:Normal:Nacos叢集串連數過多,即將限流(監視模式) | 有過多的用戶端串連到Nacos引擎,達到叢集上限,為保護Nacos引擎穩定運行,即將進行建立串連限流,當前處於監視模式,新建立的Nacos Client仍然可以串連到Nacos引擎。 | 升級叢集配置或擴容節點,並檢查是否存在錯誤的使用方式,比如:重複多次建立Nacos Client,未關閉Nacos Client導致串連泄漏等問題。 |
嚴重 | Nacos:ConnectionCapLimit:Executing:Nacos叢集串連數限流 | 有過多的用戶端串連到Nacos引擎,達到叢集上限,為保護Nacos引擎穩定運行,進行建立串連限流,將導致新建立的Nacos Client無法串連到Nacos引擎。 | 升級叢集配置或擴容節點,並檢查是否存在錯誤的使用方式,比如:重複多次建立Nacos Client,未關閉Nacos Client導致串連泄漏等問題。 | ||
Nacos:ParametersIllegalDenied | Nacos叢集請求參數不合法 | 警告 | Nacos:ParametersIllegalDenied:Normal:Nacos叢集請求參數不合法,即將限流(監視模式) | 用戶端請求Nacos叢集的參數不合法,服務端即將拒絕不合法的參數,當前處於監視模式,仍然會返回正常結果。 | 檢查用戶端請求參數是否符合規範。 |
嚴重 | Nacos:ParametersIllegalDenied:Executing:Nacos叢集請求參數不合法,觸發限流 | 用戶端請求Nacos叢集的參數不合法,服務端將拒絕不合法的參數,返回錯誤碼。 | 檢查用戶端請求參數是否符合規範。 | ||
Nacos:CPUAlert | Nacos叢集CPU使用率過高 | 警告 | Nacos:CPUAlert:Executing:Nacos叢集當前CPU使用率過高 | Nacos叢集CPU使用率過高,負載過大。可能影響後續請求的回應時間,甚至導致請求無法響應。 | 升級叢集配置或擴容節點,並檢查是否有錯誤使用導致負載過高。 |
Nacos:MemoryAlert | Nacos叢集記憶體使用量率過高 | 警告 | Nacos:MemoryAlert:Executing:Nacos叢集當前記憶體使用量率過高 | Nacos叢集記憶體使用量率過高,存在OOM Killer的風險。可能導致Nacos節點重啟。 | 升級叢集配置。 |
Nacos:FullGc | Nacos叢集發生(長時間/多次)FullGC | 警告 | Nacos:FullGc:Executing:Nacos叢集發生(長時間/多次)FullGC | Nacos叢集頻繁觸發Full GC,容量已不足。可能影響後續請求的回應時間,甚至導致請求無法響應。 | 升級叢集配置或擴容節點,並檢查是否因操作不當導致容量不足。 |
Nacos:TooManyConfigAlert | Nacos叢集配置數量過多 | 警告 | Nacos:TooManyConfigAlert:Nacos叢集配置數量過多 | 超過Nacos叢集預設配置的個數上限(10000個),超過部分將禁止建立配置。可能影響發布新配置。 | 清理無用配置。 |
Nacos:TooManyConfigLongPolling | Nacos叢集配置長輪詢數量過多 | 警告 | Nacos:TooManyConfigLongPolling:Nacos叢集配置長輪詢數量過多 | Nacos叢集配置中心監聽者數量過多,負載過高。可能頻繁觸發FullGC,影響後續請求的回應時間,甚至導致請求無法響應。 | 升級叢集配置或擴容節點,並檢查是否因操作不當導致容量不足。 |
Nacos:ProviderDropTooFast | Nacos叢集服務提供者環比下跌比例過高 | 警告 | Nacos:ProviderDropTooFast:Executing:Nacos叢集服務提供者環比下跌比例過高 | 比較目前時間和3分鐘前的Nacos叢集服務提供者數,發現Nacos叢集服務提供者下跌超過50%,可能導致業務上遊服務無法找到下遊服務提供者。 | 檢查是否有大規模應用程式中斷或網路故障。如因預期內的大規模發布而產生,可忽略該事件。 |
Zookeeper
事件Code | 事件名稱 | 事件等級 | CloudMonitor事件名稱 | 事件說明和影響 | 事件處理建議 |
ZooKeeper:ExceedEphemeralLimit | ZooKeeper單個session建立臨時節點超過限制(limit=2000) | 嚴重 | ZooKeeper:ExceedEphemeralLimit:ZooKeeper單個session建立臨時節點超過限制(limit=2000) | 單Session節點下建立過多的臨時節點。可能導致該Session中新的臨時節點建立失敗。 |
|
ZooKeeper:FullGc | ZooKeeper叢集發生(長時間/多次)FullGC | 警告 | ZooKeeper:CMSGc:Executing:ZooKeeper叢集發生(長時間/多次)FullGC | Full GC時間過長。可能導致處理延時增大,響應逾時,導致觸發自愈重啟。 |
|
ZooKeeper:CPUAlert | ZooKeeper叢集CPU使用率過高 | 警告 | ZooKeeper:CPUAlert:Executing:ZooKeeper叢集CPU使用率過高中 | CPU過高。可能導致處理延時增大,響應逾時,導致觸發自愈重啟 | 容量不足,若持續過高,建議擴容。 |
雲原生網關
事件Code | 事件名稱 | 事件等級 | CloudMonitor事件名稱 | 事件說明和影響 | 事件處理建議 |
Gateway:ElasticScaleOut | 雲原生網關彈性擴容 | 警告 | Gateway:ElasticScaleOut:Failed:雲原生網關彈性擴容執行失敗 | 執行彈性擴容時,雲原生網關會根據擴容所處的狀態產生此事件。 | 根據控制台事件詳情指引進行排查。 |
資訊 | Gateway:ElasticScaleOut:Executing:雲原生網關彈性擴容執行中 | 按需關注。 | |||
資訊 | Gateway:ElasticScaleOut:Executed:雲原生網關彈性擴容執行成功 | 按需關注。 | |||
Gateway:ElasticScaleIn | 雲原生網關彈性縮容 | 警告 | Gateway:ElasticScaleIn:Failed:雲原生網關彈性縮容執行失敗 | 執行彈性縮容時,雲原生網關會根據縮容所處的狀態產生此事件。 | 根據控制台事件詳情指引進行排查。 |
資訊 | Gateway:ElasticScaleIn:Executing:雲原生網關彈性縮容執行中 | 按需關注。 | |||
資訊 | Gateway:ElasticScaleIn:Executed:雲原生網關彈性縮容執行成功 | 按需關注。 | |||
Gateway:ElasticOpen | 雲原生網關彈性開啟 | 警告 | Gateway:ElasticOpen:Failed:雲原生網關彈性開啟失敗 | 開啟自動擴容時,雲原生網關會根據開啟結果產生此事件。 | 根據控制台事件詳情指引進行排查。 |
資訊 | Gateway:ElasticOpen:Executed:雲原生網關彈性開啟成功 | 按需關注。 | |||
Gateway:ElasticClose | 雲原生網關彈性關閉 | 警告 | Gateway:ElasticClose:Failed:雲原生網關彈性關閉失敗 | 關閉自動擴容時,雲原生網關會根據關閉結果產生此事件。 | 根據控制台事件詳情指引進行排查。 |
資訊 | Gateway:ElasticClose:Executed:雲原生網關彈性關閉成功 | 按需關注。 | |||
Gateway:ElasticStrategyUpdate | 雲原生網關彈性策略更新 | 警告 | Gateway:ElasticStrategyUpdate:Failed:雲原生網關彈性策略更新失敗 | 自動擴容處於開啟狀態時,雲原生網關會更新自動擴容策略,並根據更新結果產生此事件。 | 根據控制台事件詳情指引進行排查。 |
資訊 | Gateway:ElasticStrategyUpdate:Executed:雲原生網關彈性策略更新成功 | 按需關注。 |
微服務治理
事件Code | 事件名稱 | 事件等級 | CloudMonitor事件名稱 | 事件說明和影響 | 事件處理建議 |
Governance:FlowTrafficBlock | 微服務治理應用介面觸發流控規則 | 警告 | Governance:FlowTrafficBlock:Executing:微服務治理應用介面流控規則引發中 | 微服務治理應用配置的介面流控規則引發時,產生此事件。 | 介面出現突發流量,建議持續觀察。 |
Governance:CircleBreakerTrafficBlock | 微服務治理應用介面觸發熔斷規則 | 警告 | Governance:CircleBreakerTrafficBlock:Executing:微服務治理應用介面熔斷規則引發中 | 微服務治理應用配置的熔斷規則引發時,會產生此事件。 | 下遊介面出現不穩定情況(慢調用、異常服務等),建議檢查下遊依賴。 |
Governance:ParamsTrafficBlock | 微服務治理應用介面觸發熱點防護規則 | 警告 | Governance:ParamsTrafficBlock:Executing:微服務治理應用介面流控規則引發中 | 微服務治理應用配置的熱點參數防護規則引發時,產生此事件。 | 出現熱點參數調用,建議對相關資料進行預熱。 |
Governance:GracefulShutdown | 微服務無損下線 | 資訊 | Governance:GracefulShutdown:微服務無損下線 | 微服務無損下線完成時,產生該事件,即應用接入MSE後無損下線能力自動開啟。 | 按需關注。 |
Governance:RegistrationFinish | 微服務註冊上線 | 資訊 | Governance:RegistrationFinish:微服務註冊上線 | 開啟無損上線後,微服務註冊上線完成時,產生此事件。 | 按需關注。 |
Governance:WarmupStart | 微服務預熱開始 | 資訊 | Governance:WarmupStart:微服務預熱開始 | 開啟無損上線後,微服務治理應用的新執行個體開始流量預熱時,產生此事件。 | 按需關注。 |
Governance:WarmupEnd | 微服務預熱完成 | 資訊 | Governance:WarmupEnd:微服務預熱完成 | 開啟無損上線後,微服務治理應用的新執行個體流量預熱完成時,產生此事件。 | 按需關注。 |
Governance:ReadinessFinish | 微服務通過K8s的Readiness檢測 | 資訊 | Governance:ReadinessFinish:微服務通過K8s的Readiness檢測 | 開啟無損上線後,微服務治理應用完成Kubernetes的Readiness檢測時,產生此事件。 | 按需關注。 |
Governance:GracefulShutdown | 微服務手動下線 | 資訊 | Governance:GracefulShutdown:微服務手動下線 | 在微服務治理控制台的節點詳情中,對節點執行服務下線操作並且操作生效時,會產生該事件。 | 按需關注。 |
Governance:RegistrationFinish | 微服務手動上線 | 資訊 | Governance:RegistrationFinish:微服務手動上線 | 在微服務治理控制台的節點詳情中,對節點執行服務上線操作並且操作生效時,會產生該事件。 | 按需關注。 |
Governance:ApplicationStop | 微服務應用停機 | 資訊 | Governance:ApplicationStop:微服務應用停機 | 開啟無損下線後,微服務治理應用在執行完無損下線流程後,開始真正停機之前,會產生該事件。 | 按需關注。 |