並不是所有OSS-HDFS中儲存的資料都需要頻繁訪問,但基於資料合規或者存檔等原因,部分資料仍然需要繼續儲存。針對以上問題,OSS-HDFS服務支援資料的冷熱階層式存放區,對於經常需要訪問的資料以標準類型進行儲存,對於較少訪問的資料以低頻、歸檔以及冷歸檔類型進行儲存,從而降低總儲存成本。
前提條件
已在OSS-HDFS服務中寫入資料。
華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、華北3(張家口)、中國香港、新加坡、德國(法蘭克福)、美國(矽谷)、美國(維吉尼亞)、印尼(雅加達)地區支援使用冷熱階層式存放區功能。
已提交工單申請使用冷熱階層式存放區功能。
已安裝4.4.0及以上版本JindoSDK 。具體操作,請參見非EMR叢集接入OSS-HDFS服務快速入門。
注意事項
讀取OSS-HDFS歸檔類型資料時,涉及資料取回費用。因此對於需要頻繁訪問的資料,應避免使用低頻、歸檔以及冷歸檔類型。關於這三種類型資料取回費用的更多資訊,請參見資料處理費用。
為OSS-HDFS服務的資料設定儲存策略時,涉及資料區塊添加標籤操作。資料區塊標籤費用遵循OSS對象標籤計費規則。更多資訊,請參見對象標籤費用。
當使用的JindoSDK版本低於6.4.0時,不支援在設定為低頻、歸檔以及冷Archive Storage類型的目錄下建立檔案。如果您需要在這三種類型的目錄下建立檔案,可以在標準類型目錄下建立並關閉檔案後,通過rename操作轉移到低頻、歸檔以及冷歸檔目錄。
如果您希望在低頻、歸檔以及冷Archive Storage類型的目錄下直接建立檔案,您需要升級JindoSDK至6.4.0及以上版本。
資料轉換為歸檔或者冷Archive Storage類型時,系統開銷大,解凍取回慢,請謹慎選擇。
支援資料從歸檔類型轉換為冷Archive Storage類型,不支援資料從冷歸檔類型轉換為歸檔類型。
操作步驟
配置環境變數。
串連ECS執行個體。具體操作,請參見串連ECS執行個體。
進入已安裝的JindoSDK JAR包下的bin目錄。
以下以
jindosdk-x.x.x-linux
為例,如使用其他版本的JindoSDK,請替換為對應的JAR包名稱。cd jindosdk-x.x.x-linux/bin/
說明x.x.x表示JindoSDK JAR包版本號碼。
授予bin目錄下的
jindo-util
檔案的讀、寫、執行的許可權。chmod 700 jindo-util
將
jindo-util
檔案重新命名為jindo
。mv jindo-util jindo
建立設定檔
jindosdk.cfg
,然後在設定檔中添加以下配置項。[common]保持以下預設配置。 logger.dir = /tmp/jindo-util/ logger.sync = false logger.consolelogger = false logger.level = 0 logger.verbose = 0 logger.cleaner.enable = true hadoopConf.enable = false [jindosdk]自訂以下配置項。 <!-- 以下以杭州地區為例,其他地區請根據實際情況替換。 --> fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com <!-- 配置訪問OSS-HDFS服務的AccessKeyId、AccessKeySecret。 --> fs.oss.accessKeyId = LTAI******** fs.oss.accessKeySecret = KZo1********
設定環境變數。
export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>
<JINDOSDK_CONF_DIR>填寫
jindosdk.cfg
設定檔所在的絕對路徑。
指定為寫入OSS-HDFS服務的資料設定儲存策略。
情境
執行命令
執行結果
為寫入OSS-HDFS服務的資料設定儲存策略為低頻訪問儲存
./jindo fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA
dir1/目錄下的檔案對應的資料區塊會攜帶Key為transition-storage-class、Value為IA的標籤資訊。
為寫入OSS-HDFS服務的資料設定儲存策略為Archive Storage
./jindo fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR
dir2/目錄下的檔案對應的資料區塊會攜帶Key為transition-storage-class、Value為Archive的標籤資訊。
為寫入OSS-HDFS服務的資料設定儲存策略為冷Archive Storage
./jindo fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR
dir3/目錄下的檔案對應的資料區塊會攜帶Key為transition-storage-class、Value為ColdArchive的標籤資訊。
開啟冷熱階層式存放區。
登入OSS管理主控台。
單擊左側導覽列的Bucket列表,然後單擊目標Bucket。
在左側導覽列,選擇 。
在HDFS服務頁簽,單擊設定冷熱分層。
在冷熱分層的冷熱分層基礎設定地區,開啟狀態開關。
為避免配置錯誤導致冷熱分層無法正常工作,OSS會自動建立同時包含以下三種策略的生命週期規則:
指定OSS-HDFS的資料存放區目錄.dlsdata/下攜帶Key為transition-storage-class、Value為IA標籤的資料在1天后轉為低頻訪問儲存。
指定OSS-HDFS的資料存放區目錄.dlsdata/下攜帶Key為transition-storage-class、Value為Archive標籤的資料在1天后轉為Archive Storage。
指定OSS-HDFS的資料存放區目錄.dlsdata/下攜帶Key為transition-storage-class、Value為ColdArchive標籤的資料在1天后轉為冷Archive Storage。
重要請勿編輯階層式存放區開啟後自動建立的包含轉換為低頻、歸檔以及冷歸檔類型三種策略的生命週期規則,否則可能導致OSS-HDFS資料及服務異常。
單擊確定。
OSS-HDFS服務會根據步驟2設定的儲存策略應用生命週期中對應的轉儲策略。
生命週期規則建立後的24小時內,OSS會載入規則。規則載入完成後,OSS會在每天的北京時間08:00開始執行規則,具體執行時間取決於檔案數量,最快48小時內轉換為指定的儲存類型。
相關命令
命令文法 | 使用說明 |
| 該命令用於為某個路徑下的資料指定儲存策略。
重要 在沒有對檔案或子目錄設定儲存類型的情況下,檔案或子目錄的儲存策略預設繼承父目錄的儲存類型。例如oss://examplebucket/dir的儲存類型為CLOUD_STD,則oss://examplebucket/dir/subdir儲存類型也為CLOUD_STD。 |
| 該命令用於查詢指定路徑下資料的儲存策略。 |
| 該命令用於取消指定路徑下的資料的儲存策略。 |
| 該命令用於查詢指定路徑下資料存放區策略的轉換狀態。轉換狀態分為以下四種:
說明 該命令只用於查詢OSS-HDFS中繼資料轉換任務的狀態,不能反映已提交到OSS的任務處理狀態。 |
| 該命令用於臨時解凍指定路徑下的歸檔或者冷Archive Storage類型的資料。
臨時解凍歸檔或者冷歸檔資料時,有以下注意事項: 重要
|