在執行任務前,可通過上傳所需的檔案、JAR包等資源,或負載檔案目錄至EMR Serverless Spark,以確保任務運行時可以無縫地訪問所需資源。
背景資訊
託管檔案目錄:通過介面直接上傳本地檔案到指定的儲存空間,並在任務運行時直接存取這些檔案。
納管檔案目錄:將OSS Bucket作為檔案系統掛載到Notebook會話資源中,直接存取OSS上的檔案,無需手動上傳。
使用限制
在使用託管檔案目錄功能時,單次上傳的檔案大小不得超過 500MB。
託管檔案目錄
上傳檔案
進入資源上傳頁面。
在左側導覽列,選擇。
在Spark頁面,單擊目標工作空間的名稱。
在EMR Serverless Spark頁面,單擊左側導覽列中的檔案管理。
在託管檔案目錄頁面,單擊上傳檔案。
在上傳檔案對話方塊中,單擊待上傳檔案地區選取項目本地檔案,或者直接拖拽目標檔案到待上傳檔案地區。
管理檔案及檔案夾
在託管檔案目錄頁面,您可以對已有的檔案及檔案夾進行以下操作:
檔案:
下載檔案:將檔案下載到本地。
複製地址:擷取檔案的訪問路徑。
刪除:刪除檔案。
檔案夾:您可以進行建立檔案夾、重新命名和刪除操作。
納管檔案目錄
納管檔案目錄當前僅支援掛載到Driver,不支援掛載到Executor。
在添加納管檔案目錄後,具有工作空間檔案編輯許可權的成員可以通過檔案管理介面對檔案及檔案夾進行編輯;而擁有資料開發相關許可權的成員則可以通過Notebook進行檔案及檔案夾的讀寫操作。
新增檔案目錄
在納管檔案目錄頁面,單擊新增檔案目錄。
在建立檔案目錄對話方塊中,配置以下資訊,單擊確定。
參數
說明
名稱
檔案目錄的名稱。
OSS路徑
選擇有許可權的OSS儲存路徑。需要確保工作空間執行角色具有訪問該路徑的許可權。
掛載目錄
預設為
/mnt/workspace,支援自訂修改,但必須位於/mnt路徑下。
刪除檔案目錄
在刪除檔案目錄時,僅僅是解除工作空間檔案目錄與OSS儲存路徑之間的關聯關係,而並不會刪除該OSS路徑下的檔案。
在納管檔案目錄頁面,單擊操作列的刪除。
單擊確定。
後續操作
在上傳資源後,您可以在後續的任務開發中將已上傳的檔案作為依賴項或輸入資料來源來調用。