全部產品
Search

搜尋本產品

    Object Storage Service：通過OSS-HDFS服務的冷熱階層式存放區實現低成本儲存冷資料

    文件中心

    Object Storage Service：通過OSS-HDFS服務的冷熱階層式存放區實現低成本儲存冷資料

    更新時間：Mar 08, 2025

    並不是所有OSS-HDFS中儲存的資料都需要頻繁訪問，但基於資料合規或者存檔等原因，部分資料仍然需要繼續儲存。針對以上問題，OSS-HDFS服務支援資料的冷熱階層式存放區，對於經常需要訪問的資料以標準類型進行儲存，對於較少訪問的資料以低頻、歸檔以及冷歸檔類型進行儲存，從而降低總儲存成本。

    前提條件

    • 已在OSS-HDFS服務中寫入資料。

    • 華東1（杭州）、華東2（上海）、華北2（北京）、華南1（深圳）、華北3（張家口）、中國香港、新加坡、德國（法蘭克福）、美國（矽谷）、美國（維吉尼亞）、印尼（雅加達）地區支援使用冷熱階層式存放區功能。

    • 已提交工單申請使用冷熱階層式存放區功能。

    • 已安裝4.4.0及以上版本JindoSDK 。具體操作，請參見非EMR叢集接入OSS-HDFS服務快速入門。

    注意事項

    • 當使用的JindoSDK版本低於6.4.0時，不支援在設定為低頻、歸檔以及冷Archive Storage類型的目錄下建立檔案。如果您需要在這三種類型的目錄下建立檔案，可以在標準類型目錄下建立並關閉檔案後，通過rename操作轉移到低頻、歸檔以及冷歸檔目錄。

      如果您希望在低頻、歸檔以及冷Archive Storage類型的目錄下直接建立檔案，您需要升級JindoSDK至6.4.0及以上版本。

    • 資料轉換為歸檔或者冷Archive Storage類型時，系統開銷大，解凍取回慢，請謹慎選擇。

    • 支援資料從歸檔類型轉換為冷Archive Storage類型，不支援資料從冷歸檔類型轉換為歸檔類型。

    費用說明

    • 資料取回費用

      讀取OSS-HDFS低頻訪問、歸檔、冷歸檔類型資料時，涉及資料取回費用。因此對於需要頻繁訪問的資料，應避免設定這三種儲存類型。關於這三種儲存類型資料取回費用的更多資訊，請參見資料處理費用。

    • 標籤費用

      為OSS-HDFS服務的資料設定儲存策略時，涉及資料區塊添加標籤操作。資料區塊標籤費用遵循OSS對象標籤計費規則。更多資訊，請參見對象標籤費用。

    • 不足規定時間長度儲存容量費用

      低頻訪問類型最低儲存時間為30天，歸檔類型最低儲存時間為60天，冷歸檔最低儲存時間為180天。通過jindofs轉換資料存放區類型時，確保滿足不同儲存類型最低儲存時間長度的要求，避免產生額外費用。詳細樣本如下：

      轉儲方式

      樣本

      最低儲存時間長度計算方式

      已產生容量費用

      如何避免產生不足規定時間長度容量費用

      熱轉冷

      標準（儲存10天）-->轉換為低頻訪問

      轉換後不會重新計算資料的儲存時間。轉換前的儲存天數計入新類型的最低儲存時間長度。

      10天標準儲存容量費用

      以低頻類型繼續儲存20天

      低頻訪問（儲存10天）-->轉換為歸檔

      10天低頻訪問容量費用

      以歸檔類型繼續儲存50天

      標準（儲存10天）-->轉換為冷歸檔

      轉換後重新計算資料的儲存時間。轉換前的儲存天數不計入新類型的最低儲存時間長度。

      10天標準儲存容量費用

      以冷歸檔類型繼續儲存180天

      冷轉熱

      冷歸檔（儲存10天）-->轉換為低頻

      10天冷Archive Storage容量費用

      • 以冷歸檔類型繼續儲存170天后再轉低頻

      • 轉為低頻類型後繼續儲存30天

    操作步驟

    1. 串連ECS執行個體。具體操作，請參見串連ECS執行個體。

    2. 下載JindoFS SDK。

    3. 配置存取金鑰和環境變數。

      1. 進入已安裝的Jindofs JAR包下的bin目錄。

        以下以jindofs-sdk-x.x.x-linux為例，如使用其他版本的JindoSDK，請替換為對應的JAR包名稱。

        cd jindofs-sdk-x.x.x-linux/bin/

      2. 在bin目錄下建立設定檔jindofs.cfg，然後在設定檔中添加以下配置項。

        [client]
<!-- 配置訪問OSS-HDFS服務的AccessKeyId、AccessKeySecret。 -->
fs.oss.accessKeyId = LTAI********    
fs.oss.accessKeySecret = KZo1********
<!-- 以下以杭州地區為例，其他地區請根據實際情況替換。 -->
fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com

      3. 設定環境變數。

        說明

        <JINDOSDK_CONF_DIR>填寫jindofs.cfg設定檔所在的絕對路徑。

        export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

    4. 指定為寫入OSS-HDFS服務的資料設定儲存策略。

      情境

      執行命令

      執行結果

      為寫入OSS-HDFS服務的資料設定儲存策略為低頻訪問儲存

      ./jindofs fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA

      dir1/目錄下的檔案對應的資料區塊會攜帶Key為transition-storage-class、Value為IA的標籤資訊。

      為寫入OSS-HDFS服務的資料設定儲存策略為Archive Storage

      ./jindofs fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR

      dir2/目錄下的檔案對應的資料區塊會攜帶Key為transition-storage-class、Value為Archive的標籤資訊。

      為寫入OSS-HDFS服務的資料設定儲存策略為冷Archive Storage

      ./jindofs fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR

      dir3/目錄下的檔案對應的資料區塊會攜帶Key為transition-storage-class、Value為ColdArchive的標籤資訊。

    5. 開啟冷熱階層式存放區。

      1. 登入OSS管理主控台。

      2. 單擊左側導覽列的Bucket列表，然後單擊目標Bucket。

      3. 在左側導覽列，選擇資料湖管理 > HDFS服務。

      4. 在HDFS服務頁簽，單擊設定冷熱分層。

      5. 在冷熱分層的冷熱分層基礎設定地區，開啟狀態開關。

        1

        為避免配置錯誤導致冷熱分層無法正常工作，OSS會自動建立同時包含以下三種策略的生命週期規則：

        • 指定OSS-HDFS的資料存放區目錄.dlsdata/下攜帶Key為transition-storage-class、Value為IA標籤的資料在1天后轉為低頻訪問儲存。

        • 指定OSS-HDFS的資料存放區目錄.dlsdata/下攜帶Key為transition-storage-class、Value為Archive標籤的資料在1天后轉為Archive Storage。

        • 指定OSS-HDFS的資料存放區目錄.dlsdata/下攜帶Key為transition-storage-class、Value為ColdArchive標籤的資料在1天后轉為冷Archive Storage。

        重要

        請勿編輯階層式存放區開啟後自動建立的包含轉換為低頻、歸檔以及冷歸檔類型三種策略的生命週期規則，否則可能導致OSS-HDFS資料及服務異常。

      6. 單擊確定。

        • OSS-HDFS服務會根據設定的儲存策略應用生命週期中對應的轉儲策略。

        • 生命週期規則建立後的24小時內，OSS會載入規則。規則載入完成後，OSS會在每天的北京時間08:00開始執行規則，具體執行時間取決於檔案數量，最快48小時內轉換為指定的儲存類型。

    相關命令

    命令文法

    使用說明

    ./jindofs fs -setStoragePolicy -path <path> -policy <policy>

    該命令用於為某個路徑下的資料指定儲存策略。

    • -path：指定檔案或目錄所在路徑。

    • -policy：指定儲存策略。可選值為：

      • CLOUD_STD：標準儲存。

      • CLOUD_IA：低頻訪問

      • CLOUD_AR：Archive Storage。

      • CLOUD_COLD_AR：冷Archive Storage

      • CLOUD_AR_RESTORED：Archive Storage類型臨時解凍後的類型，有到期時間要求。

      • CLOUD_COLD_AR_RESTORED：冷Archive Storage類型臨時解凍後的類型，有到期時間要求。

    重要

    • 單次提交將歸檔或者冷歸檔轉換為標準或者低頻的資料量不能超過5 TB，且同時處於Processing狀態的資料量不能超過50 TB。

    • 在沒有對檔案或子目錄設定儲存類型的情況下，檔案或子目錄的儲存策略預設繼承父目錄的儲存類型。例如oss://examplebucket/dir的儲存類型為CLOUD_STD，則oss://examplebucket/dir/subdir儲存類型也為CLOUD_STD。

    ./jindofs fs -getStoragePolicy -path <path>

    該命令用於查詢指定路徑下資料的儲存策略。

    ./jindofs fs -unsetStoragePolicy -path <path>

    該命令用於取消指定路徑下的資料的儲存策略。

    ./jindofs fs -checkStoragePolicy -path <path>

    該命令用於查詢指定路徑下資料存放區策略的轉換狀態。轉換狀態分為以下四種：

    • Pending：任務等待提交。

    • Submitted：任務已提交。

    • Processing：任務正在執行。

    • Finalized：任務已完成。

    說明

    該命令只用於查詢OSS-HDFS中繼資料轉換任務的狀態，不能反映已提交到OSS的任務處理狀態。

    ./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

    該命令用於臨時解凍指定路徑下的歸檔或者冷Archive Storage類型的資料。

    • -path：指定檔案或目錄所在路徑。

    • -policy：指定儲存策略。可選值為：

      • CLOUD_AR_RESTORED：對應的原儲存類型為Archive Storage。

      • CLOUD_COLD_AR_RESTORED：對應的原儲存類型為冷Archive Storage。

    • -restoreDays：指定臨時解凍的天數，預設值為1天。

      • 如果原儲存類型為Archive Storage，則restoreDays支援的範圍為1~7天。

      • 如果原儲存類型為冷Archive Storage，則則restoreDays支援的範圍為1~365天。

    臨時解凍歸檔或者冷歸檔資料時，有以下注意事項：

    重要

    • 使用CLOUD_AR或者CLOUD_COLD_AR的策略進行儲存之後，必須間隔超過2天才可以進行解凍。

    • 解凍任務完成後，資料仍不能立即可讀。通常歸檔類型解凍後需要數分鐘後可讀，冷歸檔類型解凍後需要數小時後可讀。

    • 超出指定的臨時解凍天數後，資料回到不可讀狀態。處於臨時解凍狀態時，仍可以再次進行解凍，但是間隔必須超過2天以上。

    常見問題

    相關文檔