通過訊息投遞功能,您可以將目標專案空間下Flink作業的開機記錄、資源使用方式及運行事件訊息即時傳輸至指定的外部訊息佇列或儲存系統。該功能可以滿足資料持久化、記錄儲存、靈活整合和即時分析的需求,同時便於隨時查詢歷史資料,為問題排查、效能最佳化及審計分析提供支援。本文為您介紹訊息投遞的操作與查看方法。
背景資訊
支援跨地區投遞,目前支援投遞資訊的類型及投遞時機詳情如下。
類別 | 投遞說明 | 投遞時機 |
作業開機記錄 | 投遞作業啟動後的日誌,涵蓋從Flink環境被初始化到Job Manager啟動,並產生Flink運行圖的整個啟動過程所產生的日誌。 | 作業啟動成功或者作業達到終態(失敗或結束), 投遞一次開機記錄。 |
資源情況 |
重要 僅用於資源容量管理的追蹤,不具備警示功能。 | 專案空間正常運行情況下,每30秒發送一次資源情況。 |
運行事件 | 投遞作業啟動的過程中每個時間點的啟動狀態。 | 作業運行事件產生, 觸發投遞。 |
作業消耗資源 | 擷取運行中流作業的資源使用方式。其中不包括批作業和Session叢集啟動並執行作業。 | 作業運行情況下,每十分鐘發送一次資源消耗情況。 |
注意事項
目前僅支援將訊息投遞至SLS,因此您需要建立Log ServiceProject和Logstore,操作詳情請參見使用LoongCollector採集並分析ECS文本日誌。
投遞功能本身不收費,SLS的使用(日誌庫索引等)會產生流量自費,詳情請參見計費概述。
SLS中查詢、分析日誌需要開啟索引,開啟後會產生索引流量和索引儲存空間,費用說明請參見計費概述,是否建立索引由您自主決定。
您可設定日誌庫的伺服器端加密方式,會話記錄投遞會繼承該加密方式,具體操作請參見資料加密。
訊息投遞功能目前僅支援將作業開機記錄投遞到SLS,作業作業記錄可通過其他方式輸出至OSS、SLS或Kafka,具體配置方法請參見配置作業日誌輸出。
變更訊息投遞配置,會有最長10 s的延遲。
操作步驟
步驟一:配置訊息投遞渠道
進入訊息投遞組態管理入口
單擊目標工作空間操作列下的控制台。
在左側導覽列上,單擊。
配置SLS訊息投遞參數
在訊息投遞配置頁簽,開啟投遞到Log ServiceSLS開關。
配置SLS相關資訊。
配置項
說明
授權模式
STS Token:選擇此模式,只能投遞到Flink工作空間所在地區的SLS專案下的日誌庫。因此您僅需要再配置Log Service的專案和日誌庫。
AccessKey:選擇此模式,支援投遞到其他地區的SLS專案下的日誌庫。因此您需要再配置endpiont、AccessKeyId和AccessKeySecret。
Log Service專案
SLS專案名稱。
Log Service日誌庫
SLS LogStore。
Endpoint
SLS服務的Endpoint地址。
當授權模式為STS Token時,系統會預設設定為Flink工作空間所在地區對應的endpoint;當授權模式為AccessKey,需要您手動設定.
投遞範圍
具體訊息內容,詳情請參見下文欄位含義說明。
AccessKeyId
阿里雲帳號的AccessKey ID和AccessKey Secret。
重要為了避免AK資訊泄露,此處通過變數的方式來管理您的AK資訊。您可以單擊下拉式箭頭選擇已建立的變數名,或單擊參數右側的
直接建立新變數。有關變數管理及如何查看AccessKey ID和AccessKey Secret值的詳細資料,請參見變數管理和如何查看AccessKey ID和AccessKey Secret資訊?
AccessKeySecret
單擊儲存。
步驟二:查看投遞訊息
操作步驟
單擊Log Service專案右側的開啟SLS控制台。

查看原始日誌的資訊。

欄位含義說明
四種類型的訊息Topic欄位含義詳情如下。
開機記錄(JOB_START_LOG)
欄位 | 含義 |
messageType | 訊息類型,取值固定為JOB_START_LOG(作業開機記錄)。 |
deploymentId | 已部署作業ID。 |
deploymentName | 已部署作業名稱。 |
jobId | 工作執行個體ID。 |
tag | 作業標籤(如無配置為空白)。 |
length | 日誌總長度。 |
offset | 用於日誌分區時標記該條日誌的起始位置。 |
content | 作業開機記錄詳情。 |
workspace | 工作空間ID。 |
namespace | 專案空間名稱。 |
messageId | 訊息ID。 |
timestamp | 時間戳記。 |
資源詳情(JOB_RESOURCE_QUOTA)
欄位 | 含義 |
messageType | 訊息類型,取值固定為RESOURCE_QUOTA(資源使用)。 |
namespaceTotalCpuMemory | 專案空間總共的資源CU數。 |
namespaceTotalCpu | 專案空間總共的資源CU數。 |
namespaceTotalMemory | 專案空間總共的記憶體資源量, |
namespaceUsedCpuMemory | 專案空間已使用的資源CU數。 |
namespaceUsedCpu | 專案空間已使用的資源CU數。 |
namespaceUsedMemory | 專案空間已使用的記憶體資源量。 |
resourceQueueName | 資源隊列名稱。 |
resourceQueueTotalCpuMemory | 資源隊列總資源CU數。 |
resourceQueueTotalCpu | 資源隊列總資源CU數。 |
resourceQueueTotalMemory | 資源隊列總記憶體資源量。 |
resourceQueueUsedCpuMemory | 資源隊列已使用的資源CU數。 |
resourceQueueUsedCpu | 資源隊列已使用的資源CU數。 |
resourceQueueUsedMemory | 資源隊列已使用的記憶體資源量。 |
workspace | 工作空間ID。 |
namespace | 專案空間名稱。 |
messageId | 訊息ID。 |
timestamp | 時間戳記。 |
運行事件全量投遞(JOB_EVENT)
欄位 | 含義 |
messageType | 訊息類型,取值固定為JOB_EVENT(運行事件)。 |
deploymentId | 已部署作業ID。 |
deploymentName | 已部署作業名稱。 |
jobId | 工作執行個體ID。 |
tag | 作業標籤(如無配置為空白) |
eventId | 事件ID。 |
eventName | 事件名稱。 |
content | 作業開機記錄詳情。 |
workspace | 工作空間ID。 |
namespace | 專案空間名稱。 |
messageId | 訊息ID。 |
timestamp | 時間戳記。 |
作業消耗資源(JOB_RESOURCE_USAGE)
欄位 | 含義 |
messageType | 訊息類型,取值固定為JOB_RESOURCE_USAGE(作業消耗資源)。 |
deploymentId | 已部署作業ID。 |
deploymentName | 已部署作業名稱。 |
jobId | 工作執行個體ID。 |
tag | 作業標籤(如無配置為空白)。 |
jobUsedCpu | 作業已使用CU數。 |
jobUsedMemory | 作業已使用記憶體數。 |
workspace | 工作空間ID。 |
namespace | 專案空間名稱。 |
messageId | 訊息ID。 |
timestamp | 時間戳記。 |
相關文檔
單作業的日誌配置方法,請參見配置作業日誌輸出。
Realtime Compute開發控制台上查看日誌的操作方法詳情,請參見查看啟動和作業記錄、查看運行事件、查看運行異常日誌和查看歷史工作執行個體日誌。