建立OSS-HDFS投遞任務

支援的地區說明

• Log Service投遞資料到OSS-HDFS為同地區投遞，即Log ServiceProject所在的地區和OSS Bucket所在地區相同。

• 目前僅德國（法蘭克福）地區支援建立OSS-HDFS投遞任務。

建立投遞任務

1. 登入Log Service控制台。

2. 在Project列表地區，單擊目標Project。

   

3. 在日誌存儲 > 日誌庫頁簽中，單擊目標LogStore左側的>，選擇資料處理 > 匯出 > Object Storage Service （OSS）。

4. 將滑鼠懸浮Object Storage Service （OSS）上，單擊+。

5. 在建立投遞任務對話方塊中，選中OSS-HDFS匯出，然後單擊確認。

6. 在OSS-HDFS投遞功能面板，配置如下參數，然後單擊確定。

   重要參數配置說明如下所示。

   重要

   建立OSS-HDFS投遞任務後，您可以通過投遞任務的狀態和投遞到OSS-HDFS的資料確認該投遞任務是否符合預期結果。

   參數	說明
   任務名稱	投遞任務的唯一名稱。
   顯示名稱	投遞任務的顯示名稱。
   任務描述	OSS-HDFS的任務描述。
   OSS-HDFS Bucket	OSS Bucket名稱。 重要 必須是已存在的Bucket，且該Bucket與Log ServiceProject位於相同地區。 該Bucket已開啟OSS-HDFS服務。 支援投遞到標準、低頻訪問儲存類型的Bucket中。投遞後，產生的OSS Object的儲存類型預設與Bucket一致。更多資訊，請參見儲存類型。 低頻訪問儲存類型的Bucket存在最低儲存時間和最小計量單位限制。更多資訊，請參見儲存類型對比。 歸檔、冷歸檔以及深度冷Archive Storage類型的Bucket不支援開啟HDFS服務。
   檔案投遞目錄	OSS Bucket中的目錄。目錄名不能以正斜線（/）或者反斜線（\）開頭。 建立OSS-HDFS投遞任務後，LogStore中的資料將投遞到目標OSS Bucket的此目錄中。
   檔案尾碼	如果您未設定檔案尾碼，則Log Service會根據儲存格式和壓縮類型自動產生尾碼。例如.suffix。
   分區格式	按照投遞時間動態產生OSS Bucket的目錄，不能以正斜線（/）開頭，預設值為%Y/%m/%d/%H/%M，相關樣本請參見分區格式，參數詳情請參見strptime API。
   寫OSS-HDFS RAM角色	授予OSS-HDFS投遞任務將資料寫入到OSS Bucket的許可權。 預設角色：授權OSS-HDFS投遞任務扮演阿里雲系統角色AliyunLogDefaultRole將資料寫入到OSS Bucket中。更多資訊，請參見通過預設角色訪問資料。 自訂角色：授權OSS-HDFS投遞任務扮演自訂RAM角色將資料寫入到OSS Bucket中。 您需先授予自訂RAM角色將資料寫入到OSS Bucket的許可權，然後在寫OSS-HDFS RAM角色中輸入您自訂RAM角色的ARN。如何擷取ARN，請參見如下說明： 如果LogStore和OSS Bucket屬於同一阿里雲帳號，請參見步驟二：授予RAM角色寫OSS Bucket的許可權。 如果LogStore和OSS Bucket屬於不同的阿里雲帳號，請參見步驟二：授予阿里雲帳號B下的RAM角色b寫OSS Bucket的許可權。
   讀Logstore RAM角色	授予OSS-HDFS投遞任務讀取LogStore資料的許可權。 預設角色：授權OSS-HDFS投遞任務扮演阿里雲系統角色AliyunLogDefaultRole來讀取LogStore中的資料。更多資訊，請參見通過預設角色訪問資料。 自訂角色：授權OSS-HDFS投遞任務扮演自訂RAM角色來讀取LogStore中的資料。 您需先授予自訂角色讀取LogStore資料的許可權，然後在讀Logstore RAM角色中輸入您自訂角色的ARN。如何擷取ARN，請參見如下說明： 如果LogStore和OSS Bucket屬於同一阿里雲帳號，請參見步驟一：授予RAM角色讀取LogStore資料的許可權。 如果LogStore和OSS Bucket屬於不同的阿里雲帳號，請參見步驟一：授予阿里雲帳號A下的RAM角色role-a讀取LogStore資料的許可權。
   儲存格式	資料被投遞到OSS-HDFS後，支援儲存為不同的檔案格式。更多資訊，請參見JSON格式、CSV格式、Parquet格式和ORC格式。
   是否壓縮	OSS資料存放區的壓縮方式。 不壓縮（none）：不壓縮資料。 壓縮（snappy）：使用snappy演算法壓縮資料，減少OSS Bucket的空間。更多資訊，請參見snappy。 壓縮（zstd）：使用zstd演算法壓縮資料，減少OSS Bucket的空間。 壓縮（gzip）：使用gzip演算法壓縮資料，減少OSS Bucket的空間。
   是否投遞tag	tag欄位為Log Service的保留欄位，更多資訊，請參見保留欄位。
   攢批大小	每個Shard積攢日誌量達到該值指定的大小開始投遞。通過該值控制OSS-HDFS Object大小（以未壓縮計算），取值範圍為5~256，單位為MB。 說明 攢批大小是指從SLS中讀取的資料的攢批大小，不是SLS中儲存的資料大小。 在滿足攢批時間配置之後才會開始讀取並投遞資料。
   攢批時間	每個Shard從取到第一日誌時間到第n條日誌時間差值大於等於該值時開始投遞。取值範圍為300~900，預設值為300，單位為秒。
   延遲投遞	投遞資料的延遲時間。例如設定為3600，則表示資料被延遲1小時投遞，即2023/06/05 10:00:00的資料不會早於2023/06/05 11:00:00寫入到指定的OSS Bucket中。相關的限制說明，請參見配置項限制。
   開始時間範圍	投遞任務從該時間開始拉取LogStore中的資料。
   時區選擇	該時區用于格式化時間。 如果您設定了時區選擇和分區格式，系統將根據您的設定產生OSS Bucket的目錄。