在實現CPFS智算版檔案系統與OSS Bucket之間的資料流動之前,需要確保已經建立了對應的資料流動。本文介紹如何在檔案儲存體控制台建立並管理CPFS智算版資料流動。
前提條件
為了防止多個資料流動向同一個OSS Bucket匯出資料時產生資料衝突,需要該OSS Bucket開啟版本控制。更多資訊,請參見版本控制介紹。
使用限制
CPFS智算版2.4.0及以上版本支援同帳號資料流動,CPFS智算版2.6.0及以上版本支援跨帳號資料流動。
單個CPFS智算版檔案系統最多支援建立10個資料流動。
CPFS智算版檔案系統的一個檔案路徑只能與一個OSS Bucket連結。
CPFS智算版檔案系統不支援與其他地區的OSS Bucket建立資料流動。
更多關於資料流動功能的限制,請參見使用限制。
建立同帳號資料流動
登入NAS控制台。
在左側導覽列,選擇檔案系統>檔案系統列表。
在頂部功能表列,選擇地區。
在檔案系統列表頁面,單擊目標檔案系統名稱。
在檔案系統詳情頁面,單擊数据流动。
在数据流动頁簽,單擊创建数据流动。
在创建数据流动對話方塊中,配置如下參數。
參數
說明
CPFS檔案系統路徑
指定與OSS進行資料流動的路徑。
限制:
長度為1~1023個英文字元。
必須以正斜線(/)開頭和結尾。
OSS Bucket
源端OSS Bucket與CPFS智算版檔案系統路徑進行關聯。
選擇在當前帳號選擇一個Bucket,然後在下拉框中選擇目標OSS Bucket的名稱。
OSS Object Prefix
源端OSS Bucket的路徑。
限制:
長度為1~1023個英文字元。
必須以正斜線(/)開頭和結尾。
必須是OSS Bucket中已存在的prefix。
OSS Bucket SSL
選擇是否使用HTTPS訪問OSS。
OSS Bucket 標籤
為OSS Bucket設定標籤
cpfs-dataflow: true後才能建立資料流動。在資料流動的使用過程中,不能刪除和修改該標籤,否則CPFS智算版檔案系統資料流動無法訪問Bucket的資料。SLR授權
首次建立資料流動時,必須同意授權CPFS訪問Object Storage Service服務資源的許可權關聯角色。更多資訊,請參見檔案儲存體CPFS服務關聯角色。
單擊確定。
單擊確定後,系統會校正輸入資訊的正確性,一般花費1~2分鐘,校正完成後會自動關閉視窗,請不要手動關閉視窗。
建立跨帳號資料流動
當您需要將帳號B下的源端OSS Bucket的資料流動至帳號A下的CPFS智算版檔案系統時,您需要先登入Bucket所在帳號並進行AliyunNasCrossAccountDataFlowDefaultRole角色授權,並將CPFS智算版檔案系統所在帳號的UID加入該角色許可權中。然後登入帳號A建立跨帳號資料流動和資料匯入匯出任務等。
本文以阿里雲帳號A下的CPFS智算版檔案系統與帳號B下的OSS Bucket之間的資料流動為例,為您進行介紹。
操作步驟
為源端OSS Bucket所在帳號授權。
使用帳號B登入NAS控制台。
在概覽頁面的常用入口地區,單擊授權管理。

在授權管理面板,單擊跨帳號資料流動授權地區的前往授權。
單擊同意授權。
返回NAS控制台的授權管理面板,單擊跨帳號資料流動授權地區的查看詳情,進入AliyunNasCrossAccountDataFlowDefaultRole角色的詳情頁面。
在信任策略頁簽,單擊編輯信任策略。
將
Service欄位修改為阿里雲帳號@nas.aliyuncs.com的格式。例如,阿里雲帳號A是
178321033379****,則需要將Service中的nas.aliyuncs.com修改為178321033379****@nas.aliyuncs.com,表示該XX角色可以被阿里雲帳號A178321033379****@nas.aliyuncs.com下的資料流動服務扮演。{ "Statement": [ { "Action": "sts:AssumeRole", "Effect": "Allow", "Principal": { "Service": [ "178321033379****@nas.aliyuncs.com" ] } } ], "Version": "1" }
建立跨帳號資料流動。
使用帳號A登入NAS控制台。
在左側導覽列,選擇檔案系統>檔案系統列表。
在頂部功能表列,選擇地區。
在檔案系統列表頁面,單擊目標檔案系統名稱。
在檔案系統詳情頁面,單擊数据流动。
在数据流动頁簽,單擊创建数据流动。
在创建数据流动對話方塊中,配置如下參數。
參數
說明
CPFS檔案系統路徑
指定與OSS進行資料流動的路徑。
限制:
長度為1~1023個英文字元。
必須以正斜線(/)開頭和結尾。
OSS Bucket
源端OSS Bucket與CPFS智算版檔案系統路徑進行關聯。
選擇在另一個帳號中指定一個Bucket,然後在帳號ID框中輸入源端OSS Bucket所在帳號的UID,在Bucket名稱框中輸入目標源端OSS Bucket的Bucket名稱。
OSS Object Prefix
源端OSS Bucket的路徑。
限制:
長度為1~1023個英文字元。
必須以正斜線(/)開頭和結尾。
必須是OSS Bucket中已存在的prefix。
OSS Bucket SSL
選擇是否使用HTTPS訪問OSS。
單擊確定。
單擊確定後,系統會校正輸入資訊的正確性,一般花費1~2分鐘,校正完成後會自動關閉視窗,請不要手動關閉視窗。
相關操作
您可以通過控制台查看已建立的資料流動、修改資料流動配置、刪除資料流動或停止資料流動。
操作 | 說明 | 步驟 |
查看資料流動 | 您可以查看已建立的資料流動,並在指定資料流動上建立資料流動任務。 | 在数据流动頁簽,可以查詢指定資料流動的配置資訊。 |
修改資料流動 | 僅支援修改資料流動的描述。 |
|
刪除資料流動 | 刪除資料流動後會清除指定資料流動的所有任務,且無法同步資料。 重要 如果有運行中的流式任務或者正在運行中的批式任務,則不能刪除資料流動。 |
|
後續操作
建立資料流動成功後,您還需要根據需求建立匯出或匯入任務,實現CFPFS智算版檔案系統與OSS Bucket之間的資料流動。具體操作,請參見建立任務。
