通過查看OSS-HDFS服務的監控資料,可瞭解OSS-HDFS中繼資料操作調用情況和服務資源使用方式。通過為OSS-HDFS服務的重要監控指標設定警示規則,還可以及時得知指標異常並快速處理異常。
注意事項
監控資料可能存在數分鐘的延遲,僅供參考,不能作為計量資料。
前提條件
使用RAM使用者查看OSS-HDFS服務的監控資料時,請為RAM使用者授予管理Object Storage Service服務(OSS)許可權(AliyunOSSFullAccess)/唯讀訪問Object Storage Service服務(OSS)(AliyunOSSReadOnlyAccess)、管理CloudMonitor(CloudMonitor)的許可權(AliyunCloudMonitorFullAccess)/唯讀訪問CloudMonitor(CloudMonitor)的許可權(AliyunCloudMonitorReadOnlyAccess),並按需完成授權訪問OSS-HDFS服務。具體操作,請參見管理RAM使用者的許可權。
查看監控資料
可通過以下方式查看OSS-HDFS服務監控資料:
OSS管理主控台:支援查看使用頻寬、請求次數。
CloudMonitor控制台:支援查看指定HDFS API的成功請求E2E平均延遲、指定HDFS API的成功請求 QPS。
CloudMonitorSDK:支援擷取全部OSS-HDFS監控指標。更多資訊,請參見Metric。
訪問OSS-HDFS服務時使用JindoSDK 6.10.1 及以上版本才支援查看其延遲與QPS相關監控指標。
阿里雲 EMR 環境:請建立EMR-3.55.0 及以上或EMR-5.21.0及以上版本的叢集,OSS-HDFS 服務已預設整合。具體操作,請參見建立叢集。
非 EMR 或自建 Hadoop 環境:需手動部署JindoSDK 6.10.1 及以上版本。具體操作,請分別參見在非EMR叢集中部署JindoSDK和建立Hadoop運行環境。
設定監控指標警示
通過CloudMonitor控制台設定警示規則後,當觸發警示規則時,CloudMonitor自動發送警示通知,便於您獲悉資源的健全狀態,並及時處理異常。
在設定警示規則時,需將規則描述中的維度設定為常用HdfsOperation中的HDFS操作,例如getListing,其他參數按需配置即可。具體操作,請參見使用警示服務。
常用HdfsOperation
HdfsOperation | 語義 |
getBlockLocations | 擷取檔案的資料區塊位置 |
getFileInfo | 擷取檔案資訊 |
getListing | list檔案 |
complete | 關閉檔案 |
create | 建立和開啟檔案 |
addBlock | 為開啟的檔案添加資料區塊 |
delete | 刪除檔案 |
mkdirs | 建立目錄 |
rename | 重新命名檔案 |