Cloud Parallel File Storage：CreateDataFlow - 建立資料流動

本介面適用於以下產品：

基礎操作

• CPFS 通用版、CPFS 智算版檔案系統狀態為運行中時，才能建立資料流動。

• 一個 CPFS 通用版或 CPFS 智算版檔案系統最多允許建立 10 個資料流動。

• 建立資料流動一般耗時 2～5 分鐘，您可通過 DescribeDataFlows 檢查資料流動建立是否完成。

許可權

建立資料流動時，檔案儲存體 CPFS 會擷取AliyunServiceRoleForNasOssDataflow和AliyunServiceRoleForNasEventNotification兩個服務關聯角色。更多資訊，請參見 CPFS 服務關聯角色。

CPFS 通用版使用說明

本章節適用於檔案系統 ID 以 cpfs- 開頭的 CPFS 通用版。

• 計費

  • 建立資料流動將按照資料流動頻寬計費。更多資訊，請參見 CPFS 通用版計費說明。

  • 使用自動更新（AutoRefresh）時，需要通過 EventBridge 收集源端 OSS 儲存的對象修改事件，事件將產生費用。更多資訊，請參見 EventBridge 計費說明。

• 資料流動規格

  • 資料流動頻寬（Throughput）支援 600 MB/s、1200 MB/s 和 1500 MB/s 三種規格。資料流動頻寬是指該資料流動進行匯入或匯出資料時能達到的最大傳輸頻寬。

  • 建立一個資料流動，會消耗 1 個檔案儲存體 CPFS 通用版掛載點使用的 vSwitch IP 位址，請您確保該 vSwitch IP 資源充足。

  • 庫存查詢：當設定 DryRun 為 true 時，可校正建立該規格的資料流動的資源是否滿足。

• Fileset

  • 資料流動的目的端是 CPFS 通用版檔案系統中的 Fileset。Fileset 是 CPFS 通用版檔案系統中一種新的分類樹結構，是在父檔案系統中的一個小型檔案系統，擁有獨立的 inode 空間和管理能力。

  • 建立資料流動時該 Fileset 必須已存在，且不能與其他 Fileset 嵌套。一個 Fileset 上只能建立一個資料流動，對應一個源端儲存。

  • Fileset 內的檔案數量上限是 100 萬，如果從 OSS Bucket 匯入的檔案數量超過上限，建立新檔案會報錯no space。

• 自動更新

  • 配置自動更新（AutoRefresh）後，當源端儲存資料發生變化時，變化的中繼資料會自動同步到 CPFS 通用版檔案系統，變化的資料會在使用者訪問檔案時按需載入，或者啟動資料流動任務載入資料。

  • 自動更新依賴 EventBridge 收集源端 OSS 儲存的對象修改事件。需要先開通 EventBridge 服務。

  • 自動更新的作用範圍是 prefix，由參數 RefreshPath 指定。一個資料流動最多可配置 5 個自動更新目錄。

  • 自動更新間隔（AutoRefreshInterval）指 CPFS 通用版設定的自動更新時間，檢查源端 OSS Bucket 該 prefix 內是否存在資料更新，如果有資料更新則啟動自動更新任務。當 OSS 源端的對象修改事件頻率超過 CPFS 通用版資料流動處理能力時，自動更新任務會堆積，中繼資料更新會延遲，資料流動的狀態為Misconfigured，您可以提升資料流動規格，或者降低 OSS 修改頻率來解決。

  • 在檔案儲存體 CPFS 通用版資料流動對 prefix 配置自動更新時，會在使用者側建立事件匯流排，並建立源端 OSS Bucket 的 prefix 的事件規則。當源端 OSS Bucket 的 prefix 內發生對象修改後，會在 EventBridge 中產生 OSS 事件，由 CPFS 通用版資料流動處理。

  說明

  檔案儲存體 CPFS 通用版在 EventBridge 建立的事件匯流排、事件規則帶有Create for cpfs auto refresh的描述，事件匯流排、事件規則都不能修改或刪除，否則自動更新無法正常工作。

• 源端儲存

  • 源端儲存僅支援 OSS。資料流動的源端儲存（SourceStorage）必須是 OSS Bucket。

  • CPFS 通用版資料流動支援加密和非加密兩種方式訪問 OSS。選擇加密（SSL）方式訪問 OSS 時，需確認 OSS Bucket 的傳輸加密支援加密訪問方式。

  • 如果多個 CPFS 通用版的資料流動、或者同一個檔案儲存體 CPFS 通用版的多個資料流動的源端儲存是同一個 OSS Bucket，為了防止多個檔案儲存體 CPFS 通用版向同一個源匯出資料產生資料衝突，需要該 OSS Bucket 開啟版本控制。

  • 不支援跨地區的 OSS 資料流動，OSS Bucket 必須與 CPFS 通用版檔案系統在同一個地區。

  說明

  建立資料流動前，您需要先給源端 OSS Bucket 設定標籤（key: cpfs-dataflow, value: true），以便 CPFS 通用版資料流動訪問該 Bucket 的資料。在資料流動的使用過程中，不能刪除和修改該標籤，否則 CPFS 通用版資料流動無法訪問 Bucket 的資料。

CPFS 智算版使用說明

本章節適用於檔案系統 ID 以 bmcpfs- 開頭的 CPFS 智算版。

• 源端儲存

  • 源端儲存僅支援 OSS。資料流動的源端儲存（SourceStorage）必須是 OSS Bucket。

  • CPFS 智算版資料流動支援加密和非加密兩種方式訪問 OSS。選擇加密（SSL）方式訪問 OSS 時，需確認 OSS Bucket 的傳輸加密支援加密訪問方式。

  • 如果多個 CPFS 智算版的資料流動、或者同一個 CPFS 智算版的多個資料流動的源端儲存是同一個 OSS Bucket，為了防止多個 CPFS 智算版向同一個源匯出資料產生資料衝突，需要該 OSS Bucket 開啟版本控制。

  • 不支援跨地區的 OSS 資料流動，OSS Bucket 必須與 CPFS 智算版檔案系統在同一個地區。

  • CPFS 智算版 2.6.0 及以上版本支援使用跨帳號 OSS 進行資料流動的建立。

  • 只有在使用跨帳號的 OSS 時，需要設定 account id 參數。

  • 使用跨帳號的 OSS 時，需要先進行帳號授權。具體授權請參考跨帳號資料流動授權。
    說明

    建立資料流動前，您需要先給源端 OSS Bucket 設定標籤（key: cpfs-dataflow, value: true），以便 CPFS 智算版資料流動訪問該 Bucket 的資料。在資料流動的使用過程中，不能刪除和修改該標籤，否則 CPFS 智算版資料流動無法訪問 Bucket 的資料。

• 資料流動對檔案系統的限制

  • 在資料流動關聯的檔案系統路徑中，不可對非空目錄執行重新命名操作，否則報錯 Permission Denied 或者目錄非空。

  • 目錄、檔案名稱中的特殊字元需要謹慎使用，支援大小寫字母、數字、驚嘆號（！）、短劃線（-）、底線（_）、半形句號（.）、星號（*）和半形圓括弧（()）。

  • 不支援超長路徑，資料流動支援的路徑最大長度是 1023 字元。

• 資料流動匯入限制

  • Symlink 類型的檔案匯入到 CPFS 智算版後，會轉變為包含資料的普通檔案，並丟失 Symlink 資訊。

  • 如果 OSS Bucket 存在多個版本，則只複製最新的版本。

  • 不支援長度大於 255 位元組的檔案名稱或子目錄名。

• 資料流動匯出限制

  • Symlink 類型的檔案在同步到 OSS 後，不會同步 Symlink 所指向的檔案，而是會變成一個普通的無資料空白對象。

  • Hardlink 類型的檔案僅作為普通檔案同步到 OSS。

  • Socket、Device、Pipe 類型的檔案匯出到 OSS Bucket 時，會變成一個普通的無資料空白對象。

  • 不支援長度大於 1023 字元的目錄路徑。