為EMR Doctor開通並配置OSS儲存分析-開源巨量資料平台 E-MapReduce-阿里雲

EMR Doctor支援分析OSS上的資料，開通OSS儲存分析功能可以協助您進一步瞭解OSS儲存資源的使用方式和健康狀態，讓您更好地治理儲存在OSS上的資料。

背景資訊

OSS提供了儲存清單功能，配置該功能後會定期為Bucket產生資訊清單檔，資訊清單檔中儲存了OSS Bucket中Object的數量，大小等儲存資訊。EMR Doctor藉助您Bucket中最新的資訊清單檔，分析該Bucket的資料使用，健康狀態以及與Hive儲存分析關聯。

使用EMR Doctor OSS儲存分析需要您為Bucket預先開通儲存清單功能。清單功能的詳細介紹，請參見儲存空間清單。

注意事項

開通OSS儲存清單功能會產生一定的費用，具體請參見儲存空間清單。

開通OSS清單功能

如果您的叢集同時使用多個OSS Bucket並希望擷取所有Bucket的儲存分析，請按照以下開通流程在OSS控制台為所有Bucket開通儲存清單功能。

登入OSS管理主控台。
單擊Bucket 列表，然後單擊目標Bucket名稱。
在左側導覽列，選擇資料管理 > Bucket清單。
在Bucket清單頁面，單擊建立清單。
在設定清單報告規則面板，設定相關參數，具體請參見儲存空間清單。
重要
- 確保儲存清單Bucket與當前正在開通OSS儲存清單功能的Bucket一致。
- 如果您儲存在OSS中的檔案數量較多（大於100億時），建議清單報告匯出周期選擇每周，其他情況下可以選擇匯出周期為每天。
- 確保清單內容 > 可選清單包含Object大小和儲存類型兩項。
選中我知曉並同意授予阿里雲 OSS 服務訪問 Bucket 資源的許可權後，單擊確定。

配置OSS儲存分析

OSS儲存分析依賴於您通過儲存清單功能產生的資訊清單檔，需要您在EMR控制台TAIHAODOCTOR服務的配置頁面配置以下參數。具體操作步驟及更多配置，請參見EMR Doctor配置說明。

配置項

說明

collect.oss.bucket

被分析的OSS Bucket名稱。

collect.oss.manifest.dir

資訊清單檔的目錄。格式為：inventory_path/inventory_bucket/inventory_name。可參見開通OSS清單功能中的Bucket清單列表。

inventory_path是您上一步配置的清單報告儲存路徑。
inventory_bucket是儲存清單Bucket，即被分析的OSS Bucket名稱。
inventory_name是您上一步配置的清單名稱。

例如，您OSS Bucket清單的配置參數為：清單報告儲存路徑（inventory_path）為 reports，被分析的OSS Bucket名稱（inventory_bucket）為 my-bucket，清單名稱（inventory_name）為 my-inventory。

那麼，資訊清單檔的目錄（collect.oss.manifest.dir）為：reports/my-bucket/my-inventory。

重要

如果您的叢集同時使用了多個Bucket，並為每一個Bucket開通了儲存清單功能，則可以按順序將多個Bucket名稱及其對應的資訊清單檔目錄配置到配置項中，並使用英文逗號（,）分隔。請確保Bucket填寫順序與資訊清單檔的填寫順序對應。

單Bucket配置樣本

Bucket以my-bucket為例，最終儲存分析配置如下所示。

collect.oss.bucket:   my-bucket
collect.oss.manifest.dir:   reports/my-bucket/my-inventory

多Bucket配置樣本

Bucket以my-bucket1和my-bucket2為例，最終儲存分析配置如下所示。

collect.oss.bucket:   my-bucket1,my-bucket2
collect.oss.manifest.dir:   reports1/my-bucket1/my-inventory1,reports2/my-bucket2/my-inventory2