全部產品
Search
文件中心

Simple Log Service:建立資料加工(新版)任務

更新時間:Jan 30, 2026

Log Service支援您使用資料加工(新版)功能,基於SPL規則消費源Logstore中的資料,並將SPL規則處理結果寫入到的目標Logstore中。您也可以對加工後的資料進行查詢和分析,進一步發掘資料價值。本文介紹如何在Log Service控制台上建立資料加工任務。

前提條件

操作步驟

  1. 登入Log Service控制台

  2. 進入資料加工頁面。

    1. 在Project列表地區,單擊目標Project。

    2. 日誌儲存 > 日誌庫頁簽中,單擊目標Logstore。

    3. 在查詢與分析頁面,單擊資料加工

  3. 在頁面右上方,選擇資料的時間範圍。

    選擇時間範圍後,請確認原始日誌頁簽中存在日誌。

  4. 在編輯框中,輸入SPL語句。

    SPL文法請參見SPL文法

  5. 預覽資料。

    • 未經處理資料頁簽中單擊加入測試資料,或者在測試資料頁簽中,手動輸入測試資料。

  6. 建立資料加工任務。

    1. 單擊儲存資料加工(新版)

    2. 建立資料加工任務(新版)面板中,配置如下資訊,然後單擊確定

    參數

    說明

    任務名稱

    資料加工任務的名稱。

    顯示名稱

    資料加工顯示的名稱。

    任務描述

    資料加工任務的描述。

    授權方式

    您可以通過如下方式授予資料加工任務讀取源Logstore中資料的許可權。

    • 預設角色:授予資料加工任務使用阿里雲系統角色AliyunLogETLRole來讀取源Logstore中的資料。單擊授權系統角色AliyunLogETLRole,根據頁面提示完成授權。更多資訊,請參見通過預設角色訪問資料

      重要

      如果您使用的是RAM使用者,需要由阿里雲帳號先完成授權。

      已完成授權的阿里雲帳號,無需再次授權。

    • 自訂角色:授予資料加工任務使用自訂角色來讀取源Logstore中的資料。您需先授予自訂角色讀取源Logstore資料的許可權,然後在角色ARN中輸入您自訂角色的ARN。如何授權,請參見通過自訂角色訪問資料

    • 密鑰:根據集團安全要求,不再支援AK/SK建立任務。

    儲存目標

    目標名稱

    儲存目標的名稱。儲存目標中包括Project、Logstore等配置。

    目標Region

    選擇目標Project所在地區。

    目標Project

    用於儲存資料加工結果的目標Project名稱。目標Project可以通過SPL規則動態指定,詳情請參見動態目標Project/LogStore輸出。如果SPL中動態指定,則使用該Project,否則使用當前配置的預設Project。

    重要

    SPL規則動態指定的Project須與當前配置的Region、授權相匹配。

    目標庫

    用於儲存資料加工結果的目標Logstore名稱。目標Logstore可以通過SPL規則動態指定,詳情請參見動態目標Project/LogStore輸出。如果SPL中動態指定,則使用該Logstore,否則使用當前配置的預設Logstore。

    重要

    SPL規則動態指定的LogStore須與當前配置的Region、授權、以及Project相匹配。禁止目標LogStore與源LogStore相同。

    授權方式

    您可以通過如下方式授予資料加工任務寫目標Logstore的許可權。

    • 預設角色:授予資料加工任務使用阿里雲系統角色AliyunLogETLRole將資料加工結果寫入目標Logstore。 單擊授權系統角色AliyunLogETLRole,根據頁面提示完成授權。更多資訊,請參見通過預設角色訪問資料

    重要

    如果您使用的是RAM使用者,需要由阿里雲帳號先完成授權。

    已完成授權的阿里雲帳號,無需再次授權。

    • 自訂角色:授予資料加工任務使用自訂角色將資料加工結果寫入目標Logstore。您需先授予自訂角色寫資料到目標Logstore的許可權,然後在角色ARN中輸入您自訂角色的ARN。如何授權,請參見通過自訂角色訪問資料

    • 密鑰:根據集團安全要求,不再支援AK/SK建立任務。

    寫入結果集

    需要寫入至當前目標Logstore的資料集,資料加工(新版)處理結果的資料集詳情請參見資料集說明。一個輸出目標可配置多個資料集,單個資料集也可被多個目標選中。

    加工範圍

    時間範圍

    (資料接收時間)

    指定資料加工任務的時間範圍,詳細說明如下:

    • 所有:從Logstore接收到第一條日誌的時間點開始資料加工任務,直到加工任務被手動停止。

    • 某時間開始:指定資料加工任務的開始時間,從該時間點開始加工,直到加工任務被手動停止。

    • 特定時間範圍:指定資料加工任務的起止時間,加工任務執行到指定時間後自動停止。

    進階選項

    進階參數配置

    對於加工語句中需要使用的密碼資訊(例如資料庫連接密碼),Log Service支援使用索引值對形式儲存在金鑰組中,即您可以在加工語句中通過res_local("key")進行引用。

    單擊+,可添加多個索引值對。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS執行個體所屬的專用網路ID。進階參數配置

後續步驟

建立資料加工任務後,您可以執行如下操作。