在執行任務前,可通過上傳所需的檔案、JAR包等資源,或負載檔案目錄至EMR Serverless Spark,以確保任務運行時可以無縫地訪問所需資源。
託管檔案目錄與納管檔案目錄
託管檔案目錄:通過介面直接上傳本地檔案到指定的儲存空間,並在任務運行時直接存取這些檔案。
納管檔案目錄:將OSS、NAS、CPFS作為檔案系統掛載到Notebook會話資源、任務中,直接存取納管檔案目錄的檔案。
使用限制
託管檔案目錄
單次上傳的檔案大小不得超過 500MB。
納管檔案目錄
單工作空間最多支援添加10個納管檔案目錄。
通過Kyuubi Gateway、Spark叢集提交的任務暫不支援掛載納管檔案目錄。
CPFS類型的納管檔案目錄不支援與其他類型(OSS、NAS)的納管檔案目錄同時掛載。例如,支援同時掛載多個OSS和NAS目錄,但不支援OSS與CPFS混合掛載。
管理託管檔案目錄
上傳檔案
進入資源上傳頁面。
在左側導覽列,選擇。
在Spark頁面,單擊目標工作空間的名稱。
在EMR Serverless Spark頁面,單擊左側導覽列中的文件管理。
在托管文件目录頁面,單擊上传文件。
在上传文件對話方塊中,單擊待上傳檔案地區選取項目本地檔案,或者直接拖拽目標檔案到待上傳檔案地區。
管理檔案及檔案夾
在托管文件目录頁面,您可以對已有的檔案及檔案夾進行以下操作:
檔案:
下载文件:將檔案下載到本地。
复制地址:擷取檔案的訪問路徑。
删除:刪除檔案。
檔案夾:您可以進行新建文件夹、重命名和删除操作。
管理納管檔案目錄
在添加納管檔案目錄後,具有工作空間檔案編輯許可權的成員可以通過檔案管理介面對納管OSS檔案目錄的檔案及檔案夾進行編輯;而擁有資料開發相關許可權的成員則可以通過資料開發工作單位進行檔案及檔案夾的讀寫操作。
新增檔案目錄
進入資源上傳頁面。
在左側導覽列,選擇。
在Spark頁面,單擊目標工作空間的名稱。
在EMR Serverless Spark頁面,單擊左側導覽列中的文件管理。
在纳管文件目录頁面,單擊新增文件目录。
在创建文件目录對話方塊中,配置以下資訊,單擊确定。
OSS
OSS配置參數如下。
參數
說明
文件目录名称
檔案目錄的名稱。
OSS 路径
選擇有許可權的OSS儲存路徑。需要確保工作空間執行角色具有訪問該路徑的許可權。
挂载路径
支援自訂修改,但必須位於
/mnt路徑下。通用型 NAS
通用型NAS配置參數如下。
參數
說明
文件目录名称
檔案目錄的名稱。
檔案系統
選擇有許可權的通用型NAS。需要確保工作空間執行角色具有訪問該NAS的許可權。
掛載點
配置掛載點來訪問NAS檔案系統。
文件系统路径
配置NAS中已有的儲存路徑。不填寫時,預設掛載根目錄。
挂载路径
支援自訂修改,但必須位於
/nas路徑下。智算版CPFS
智算版CPFS配置參數如下。
參數
說明
文件目录名称
檔案目錄的名稱。
檔案系統
選擇有許可權的智算版CPFS。需要確保工作空間執行角色具有訪問該CPFS的許可權。
掛載點
配置掛載點來訪問CPFS檔案系統。
挂载路径
支援自訂修改,但必須位於
/cpfs路徑下。唯讀
預設關閉,開啟後該檔案目錄唯讀。
刪除檔案目錄
在刪除檔案目錄時,僅僅是解除工作空間檔案目錄與OSS、NAS、CPFS之間的關聯關係,而並不會刪除該OSS、NAS、CPFS下的檔案。
在纳管文件目录頁面,單擊操作列的刪除。
單擊确定。
後續操作
使用託管檔案目錄:在資源上傳完成後,您可以在後續的批任務或流任務開發中將已上傳的檔案作為依賴項或輸入資料來源來調用。
使用納管檔案目錄:在完成納管後,您可以在後續的Notebook會話、批任務或流任務開發、通過Livy Gateway提交的任務中掛載納管檔案目錄。