Cloud Parallel File Storage：管理資料流動任務

任務說明

• 任務類型

  • 按任務對資料的操作，可分為匯入（Import）、匯出（Export）和刪除（Evict）三種類型。

    類型	說明
    匯入（Import）	將源端儲存的資料匯入CPFS檔案系統。 匯入類型：支援匯入中繼資料（Metadata）和資料（MetaAndData）兩種資料類型。 中繼資料：只匯入檔案的中繼資料。 資料：匯入檔案的中繼資料和資料。 匯入路徑：是檔案OSS Bucket中的路徑。資料流動任務按檔案在OSS Bucket中的路徑匯入到Fileset中。 如果匯入檔案或匯入目錄無POSIX中繼資料屬性，則預設owner為root，預設permission為0770。
    匯出（Export）	將位於資料流動Fileset內的指定的目錄或檔案匯出到OSS Bucket中。 匯出路徑：檔案或目錄在CPFS檔案系統中的路徑。資料流動任務按檔案在Fileset中的路徑匯出到Bucket中。 空目錄、hard link和symbol link不能匯出到OSS。 中繼資料匯出：支援將檔案的CreateTime、ModifyTime、Ownership、Permission匯出到OSS Bucket，但檔案的ChangeTime不會匯出到OSS。 警告 CPFS會將中繼資料匯出到OSS Bucket的自訂中繼資料中，其命名為x-oss-meta-afm-xxx，不能刪除或修改，否則檔案系統中的中繼資料會錯誤。
    刪除（Evict）	將釋放CPFS上檔案的資料，刪除後檔案在CPFS上只保留中繼資料，您仍能看到該檔案，但檔案的資料區塊已清除，不佔用CPFS上的儲存空間，訪問該檔案資料時，再從源端儲存（例如OSS）按需載入。 說明 刪除前，請務必確認對應檔案在OSS上有最新的版本。

  • 按任務的發起者，分為使用者任務和系統任務兩種類型。

    類型	描述
    使用者任務	通過控制台或者OpenAPI建立的資料流動任務（CreateDataFlowTask）。 可在控制台的資料流動 > 任務管理面板中查詢。 使用者任務運行結束時會產生任務報告，儲存在CPFS檔案系統的.dataflow_report目錄中。
    系統任務	在配置中繼資料自動更新後，CPFS自動產生的任務，用於將OSS Bucket中更新的檔案中繼資料同步到CPFS。 系統任務每隔中繼資料重新整理間隔(分鐘)時間會自動產生，以同步OSS Bucket中更新的檔案中繼資料。 可在控制台的資料流動 > 任務管理面板中查詢。 系統任務不會產生任務報告。

• 任務執行範圍

  任務執行的範圍為目錄（Directory）或指定的檔案清單（EntryList）。當執行範圍為目錄時，任務會遍曆該分類樹中的所有檔案。

建立資料流動任務

1. 登入NAS控制台。

2. 在左側導覽列，選擇檔案系統>檔案系統列表。

3. 在頂部功能表列，選擇地區。

4. 在檔案系統列表頁面，單擊目標檔案系統名稱。

5. 在檔案系統詳情頁面，單擊数据流动。

6. 在数据流动頁簽，找到目標資料流動，單擊任务管理。

7. 在任务管理面板，單擊创建任务。

8. 在创建任务面板，您可以建立不同類型的任務並配置任務詳情。

   匯入資料

   配置項	說明
   导入数据类型	選擇匯入資料的類型。 数据：同時匯入檔案的資料區塊及中繼資料。 元数据：僅匯入檔案的中繼資料。 當僅匯入檔案的中繼資料時，您只能查詢到檔案名稱，訪問該資料時，將會從源端按需載入。
   指定OSS Object Prefix子目錄	選擇資料流動任務執行的目錄或者檔案清單。 导入OSS此目录下所有文件：指定OSS目錄必須以/開頭和結尾。 导入此文件中列出的所有对象：檔案中每一行代表該檔案在OSS Bucket中的路徑，不支援目錄。

   匯出資料

   • 空目錄、hard link、symbol link不能匯出到OSS Bucket。

   • 支援將檔案的CreateTime、ModifyTime、Ownership、Permission匯出到OSS Bucket，但檔案的ChangeTime不會匯出到OSS Bucket。

   • CPFS將中繼資料匯出到OSS Bucket的自訂中繼資料中，名稱為x-oss-meta-afm-xxx，使用者不能刪除或修改，否則檔案系統中的中繼資料會錯誤。

     配置項	說明
     指定CPFS目錄子目錄	選擇資料流動任務執行的目錄或者檔案清單。 导出CPFS此目录下所有文件：目錄必須以正斜線（/）開頭和結尾，且是該目錄在CPFS檔案系統中的路徑。 导出此文件列出的所有文件：檔案中每一行代表一個檔案在CPFS檔案系統中的路徑，不支援目錄。

   刪除資料

   配置項	說明
   删除文件	選擇資料流動任務執行的目錄或者檔案清單。 删除CPFS此目录下所有文件：目錄必須以正斜線（/）開頭和結尾。 删除此文件列出的所有文件：檔案中每一行代表一個檔案在CPFS檔案系統中的路徑，不支援目錄。

9. 確認配置資訊，單擊確定。

   說明

   執行指定的資料流動任務時，該資料流動的自動資料更新任務會被中斷並等待。

查看任務報告

1. 登入NAS控制台。

2. 在左側導覽列，選擇檔案系統>檔案系統列表。

3. 在頂部功能表列，選擇地區。

4. 在檔案系統列表頁面，單擊目標檔案系統名稱。

5. 在檔案系統詳情頁面，單擊数据流动。

6. 在数据流动頁簽，找到目標資料流動，單擊任务管理。

7. 在任务管理面板，在需要查看任務報告的操作列，選擇表徵圖 > 報告。

8. 擷取目標任務報告的詳細路徑並下載。

   說明

   • 任務報告僅產生使用者任務報告，系統任務不產生任務報告。

   • 請您在使用者任務結束後再查看任務報告，報告會儲存在CPFS檔案系統的.dataflow_report目錄中。

   任務報告樣本：

   SUMMARY,dataflowId,taskId,userId,fsId,startDate,endData,total,succ,skip,failed,throughput_MBps
   FILE,path,status,size
   
   SUMMARY,df-0001,task-0001,1001,cpfs-1234,1632477577,1632477677,18,10,1,7,0.01
   FILE,test1/object1,cached,131072
   FILE,test1/object2,cached,131072

   類別	欄位	說明
   任務統計資訊（SUMMARY）	dataflowId	資料流動ID。
   	taskId	任務ID。
   	userId	使用者ID。
   	fsId	檔案系統ID。
   	startDate	任務啟動時間（number of sec since Epoch）。
   	endDate	任務結束時間（number of sec since Epoch）。
   	total	任務操作的檔案總數。
   	succ	成功完成任務操作的檔案數。
   	skip	無需操作的檔案數，例如匯入任務中檔案已匯入。
   	failed	任務操作失敗的檔案數。
   	throughput_MBps	任務執行過程中的平均吞吐（MB/s）。
   檔案資訊（FILE）	path	檔案在Fileset中的路徑。
   	status	檔案狀態資訊。 cached：檔案已匯入或匯出。 uncached：檔案未匯入。 dirty：檔案在CPFS端有修改，未匯出。 NA：檔案不存在。
   	size	檔案大小，單位為位元組。

相關操作