全部產品
Search
文件中心

Cloud Parallel File Storage:管理資料流動

更新時間:Dec 26, 2025

在實現CPFS智算版檔案系統與OSS Bucket之間的資料流動之前,需要確保已經建立了對應的資料流動。本文介紹如何在檔案儲存體控制台建立並管理CPFS智算版資料流動。

前提條件

  • 為了防止多個資料流動向同一個OSS Bucket匯出資料時產生資料衝突,需要該OSS Bucket開啟版本控制。更多資訊,請參見版本控制介紹

使用限制

  • CPFS智算版2.4.0及以上版本支援同帳號資料流動,CPFS智算版2.6.0及以上版本支援跨帳號資料流動。

  • 單個CPFS智算版檔案系統最多支援建立10個資料流動。

  • CPFS智算版檔案系統的一個檔案路徑只能與一個OSS Bucket連結。

  • CPFS智算版檔案系統不支援與其他地區的OSS Bucket建立資料流動。

更多關於資料流動功能的限制,請參見使用限制

建立同帳號資料流動

  1. 登入NAS控制台

  2. 在左側導覽列,選擇檔案系統>檔案系統列表

  3. 在頂部功能表列,選擇地區。

  4. 檔案系統列表頁面,單擊目標檔案系統名稱。

  5. 在檔案系統詳情頁面,單擊数据流动

  6. 数据流动頁簽,單擊创建数据流动

  7. 创建数据流动對話方塊中,配置如下參數。

    參數

    說明

    CPFS檔案系統路徑

    指定與OSS進行資料流動的路徑。

    限制:

    • 長度為1~1023個英文字元。

    • 必須以正斜線(/)開頭和結尾。

    OSS Bucket

    源端OSS Bucket與CPFS智算版檔案系統路徑進行關聯。

    選擇在當前帳號選擇一個Bucket,然後在下拉框中選擇目標OSS Bucket的名稱。

    OSS Object Prefix

    源端OSS Bucket的路徑。

    限制:

    • 長度為1~1023個英文字元。

    • 必須以正斜線(/)開頭和結尾。

    • 必須是OSS Bucket中已存在的prefix。

    OSS Bucket SSL

    選擇是否使用HTTPS訪問OSS。

    OSS Bucket 標籤

    為OSS Bucket設定標籤 cpfs-dataflow: true 後才能建立資料流動。在資料流動的使用過程中,不能刪除和修改該標籤,否則CPFS智算版檔案系統資料流動無法訪問Bucket的資料。

    如何設定標籤?

    進入目標Bucket中,在左側導覽列中選擇Bucket配置 > Bucket標籤,單擊建立標籤,輸入標籤鍵cpfs-dataflow和標籤值true,如下圖所示。單擊儲存完成標籤配置,然後返回CPFS控制台繼續建立資料流動。

    image

    SLR授權

    首次建立資料流動時,必須同意授權CPFS訪問Object Storage Service服務資源的許可權關聯角色。更多資訊,請參見檔案儲存體CPFS服務關聯角色

  8. 單擊確定

    單擊確定後,系統會校正輸入資訊的正確性,一般花費1~2分鐘,校正完成後會自動關閉視窗,請不要手動關閉視窗。

建立跨帳號資料流動

當您需要將帳號B下的源端OSS Bucket的資料流動至帳號A下的CPFS智算版檔案系統時,您需要先登入Bucket所在帳號並進行AliyunNasCrossAccountDataFlowDefaultRole角色授權,並將CPFS智算版檔案系統所在帳號的UID加入該角色許可權中。然後登入帳號A建立跨帳號資料流動和資料匯入匯出任務等。

本文以阿里雲帳號A下的CPFS智算版檔案系統與帳號B下的OSS Bucket之間的資料流動為例,為您進行介紹。

操作步驟

  1. 為源端OSS Bucket所在帳號授權。

    1. 使用帳號B登入NAS控制台

    2. 概覽頁面的常用入口地區,單擊授權管理

      image

    3. 授權管理面板,單擊跨帳號資料流動授權地區的前往授權

    4. 單擊同意授權

    5. 返回NAS控制台的授權管理面板,單擊跨帳號資料流動授權地區的查看詳情,進入AliyunNasCrossAccountDataFlowDefaultRole角色的詳情頁面。

    6. 信任策略頁簽,單擊編輯信任策略

    7. Service欄位修改為阿里雲帳號@nas.aliyuncs.com的格式。

      例如,阿里雲帳號A是178321033379****,則需要將Service中的nas.aliyuncs.com修改為178321033379****@nas.aliyuncs.com,表示該XX角色可以被阿里雲帳號A178321033379****@nas.aliyuncs.com下的資料流動服務扮演。

      {
        "Statement": [
          {
            "Action": "sts:AssumeRole",
            "Effect": "Allow",
            "Principal": {
              "Service": [
                "178321033379****@nas.aliyuncs.com" 
              ]
            }
          }
        ],
        "Version": "1"
      }
  2. 建立跨帳號資料流動。

    1. 使用帳號A登入NAS控制台

    2. 在左側導覽列,選擇檔案系統>檔案系統列表

    3. 在頂部功能表列,選擇地區。

    4. 檔案系統列表頁面,單擊目標檔案系統名稱。

    5. 在檔案系統詳情頁面,單擊数据流动

    6. 数据流动頁簽,單擊创建数据流动

    7. 创建数据流动對話方塊中,配置如下參數。

      參數

      說明

      CPFS檔案系統路徑

      指定與OSS進行資料流動的路徑。

      限制:

      • 長度為1~1023個英文字元。

      • 必須以正斜線(/)開頭和結尾。

      OSS Bucket

      源端OSS Bucket與CPFS智算版檔案系統路徑進行關聯。

      選擇在另一個帳號中指定一個Bucket,然後在帳號ID框中輸入源端OSS Bucket所在帳號的UID,在Bucket名稱框中輸入目標源端OSS Bucket的Bucket名稱。

      OSS Object Prefix

      源端OSS Bucket的路徑。

      限制:

      • 長度為1~1023個英文字元。

      • 必須以正斜線(/)開頭和結尾。

      • 必須是OSS Bucket中已存在的prefix。

      OSS Bucket SSL

      選擇是否使用HTTPS訪問OSS。

    8. 單擊確定

      單擊確定後,系統會校正輸入資訊的正確性,一般花費1~2分鐘,校正完成後會自動關閉視窗,請不要手動關閉視窗。

相關操作

您可以通過控制台查看已建立的資料流動、修改資料流動配置、刪除資料流動或停止資料流動。

操作

說明

步驟

查看資料流動

您可以查看已建立的資料流動,並在指定資料流動上建立資料流動任務。

数据流动頁簽,可以查詢指定資料流動的配置資訊。

修改資料流動

僅支援修改資料流動的描述。

  1. 数据流动頁簽,找到目標資料流動。

  2. 單擊修改,修改指定資料流動描述資訊。

  3. 單擊確定

刪除資料流動

刪除資料流動後會清除指定資料流動的所有任務,且無法同步資料。

重要

如果有運行中的流式任務或者正在運行中的批式任務,則不能刪除資料流動。

  1. 数据流动頁簽,找到目標資料流動。

  2. 單擊删除,確認目標資料流動。

  3. 單擊確定

後續操作

建立資料流動成功後,您還需要根據需求建立匯出或匯入任務,實現CFPFS智算版檔案系統與OSS Bucket之間的資料流動。具體操作,請參見建立任務