全部產品
Search
文件中心

Object Storage Service:批處理

更新時間:Dec 27, 2024

使用批處理對儲存空間(Bucket)中存量檔案進行批量處理。例如將Bucket某個目錄中尾碼為.docx的檔案轉換成PDF格式、將所有MOV格式的檔案轉碼為MP4等。

說明

新版資料處理功能API、SDK支援在IMM服務存取點中的地區進行使用。

注意事項

  • 批處理將對滿足條件的所有檔案產生對應資料處理任務,請使用檔案較少的首碼進行測試並驗證資料處理效果。

  • 暫停批處理將立即停止產生新的資料處理任務,但已經提交產生的資料處理任務將會繼續正常運行。

  • 輸出路徑應避免以輸入路徑為首碼,否則將導致觸發器迴圈觸發和源檔案被覆蓋等非預期行為。

  • 輸出路徑不能以/結尾,請填寫包含副檔名的完整輸出檔案路徑,檔案名稱支援使用變數。關於變數的更多資訊,請參見變數

  • 輸出路徑以非/結尾時,檔案名稱需要至少包含一個變數,否則多個輸出檔案將會互相覆蓋。

  • 使用{key}、{barename}、{basename}變數作為輸出路徑時,請確認輸出檔案和輸入檔案路徑不同,否則將導致源檔案被覆蓋以及迴圈觸發。

建立批處理

  1. 登入OSS管理主控台

  2. 在左側導覽列,單擊Bucket列表,然後單擊目標Bucket。

  3. 在左側導覽列,選擇資料處理

  4. 根據需要選擇文檔處理ApsaraVideo for Media Processing或其他由Intelligent Media Management (IMM) 提供的資料處理能力(以下以文檔處理為例進行介紹)。

  5. 單擊批處理頁簽,然後單擊建立批處理

  6. 建立批處理面板進行輸入配置輸出配置許可權配置通知配置

    image

    參數

    說明

    輸入儲存桶

    當前需要建立批處理的檔案所在的Bucket。

    選擇模式

    可根據需要選中選擇檔案選擇首碼

    • 選擇檔案:選擇特定的多個檔案進行資料處理。

    • 選擇首碼:對指定目錄中滿足特定規則的檔案進行資料處理。

    輸入路徑

    選擇模式選中選擇檔案時,可選擇一個或多個需要進行資料處理的檔案。

    路徑首碼

    選擇模式選中選擇首碼時,可選擇檔案的路徑首碼,配合過濾規則制定要進行資料處理的檔案。

    過濾規則

    選擇模式選中選擇首碼時,指定路徑首碼和過濾規則對要處理的檔案進行過濾。

    • 全部:對路徑首碼指定的目錄中所有檔案進行處理。

    • 檔案首碼:對路徑首碼指定的目錄中檔案名稱匹配到特定首碼的檔案進行資料處理,多個首碼以半形逗號(,)分隔。

    • 檔案尾碼:對路徑尾碼指定的目錄中檔案名稱匹配到特定尾碼的檔案進行資料處理,多個尾碼以半形逗號(,)分隔。

    樣式

    選擇檔案的處理樣式。如果沒有可以選擇的樣式,可單擊下拉式清單中的添加樣式,添加新的樣式。

    輸出路徑

    選擇處理後檔案的儲存路徑。

    不支援以正斜線(/)結尾的路徑。建議您使用變數,否則多個任務的輸出結果會互相覆蓋。具體操作,請參見變數

    服務角色

    授權給IMM服務以訪問其他雲資源(例如OSS)的許可權,建議使用服務角色AliyunIMMBatchTriggerRole。沒有服務角色時,您可以在雲資源訪問授權頁面建立角色。

    訊息佇列

    選擇MNS主題。 任務結束時支援以訊息通知的方式將處理結果發送到MNS。具體操作,請參見快速入門概述

  7. 單擊確定

    批處理建立成功後會對每個存量檔案產生對應的任務進行資料處理。執行任務會產生相應的費用。更多資訊,請參見計費項目

查詢批處理

  1. 登入OSS管理主控台

  2. 在左側導覽列,單擊Bucket列表,然後單擊目標Bucket。

  3. 在左側導覽列,選擇資料處理

  4. 根據需要進行資料處理的檔案類型選擇文檔處理ApsaraVideo for Media Processing或其他由Intelligent Media Management (IMM) 提供的資料處理能力。

  5. 選中批處理頁簽,查看批處理列表,單擊頁面下方翻頁按鈕可查看上一頁或下一頁。

    image

    批處理狀態說明如下表所示。

    狀態

    說明

    就緒

    任務就緒,剛建立的任務處於就緒狀態。

    運行中

    正在執行,正常執行的任務狀態。

    成功

    任務執行完成。

    暫停

    任務暫停。

    失敗

    任務失敗,任務執行出錯,且無法自動回復。

  6. 批處理ID搜尋方塊輸入批處理ID,單擊搜尋按鈕可以搜尋指定的批處理。

  7. 單擊操作列的詳情可以查看批處理詳細資料。

  8. 單擊批處理ID前的展開按鈕,可以查看批處理的所有任務資訊,可以根據源檔案路徑和狀態來搜尋任務,單擊操作列的詳情可以查看任務詳細資料。

    image