全部產品
Search
文件中心

Realtime Compute for Apache Flink:訊息投遞指南

更新時間:Feb 10, 2026

通過訊息投遞功能,您可以將目標專案空間下Flink作業的開機記錄、資源使用方式及運行事件訊息即時傳輸至指定的外部訊息佇列或儲存系統。該功能可以滿足資料持久化、記錄儲存、靈活整合和即時分析的需求,同時便於隨時查詢歷史資料,為問題排查、效能最佳化及審計分析提供支援。本文為您介紹訊息投遞的操作與查看方法。

背景資訊

支援跨地區投遞,目前支援投遞資訊的類型及投遞時機詳情如下。

類別

投遞說明

投遞時機

作業開機記錄

投遞作業啟動後的日誌,涵蓋從Flink環境被初始化到Job Manager啟動,並產生Flink運行圖的整個啟動過程所產生的日誌。

作業啟動成功或者作業達到終態(失敗或結束), 投遞一次開機記錄。

資源情況

  • 投遞專案空間內資源的使用變化情況:包括CPU、記憶體資源的消耗和分配的變化情況。

  • 投遞隊列資源的使用變化情況:包括CPU、記憶體資源的消耗和分配的變化情況。

重要

僅用於資源容量管理的追蹤,不具備警示功能。

專案空間正常運行情況下,每30秒發送一次資源情況。

運行事件

投遞作業啟動的過程中每個時間點的啟動狀態。

作業運行事件產生, 觸發投遞。

作業消耗資源

擷取運行中流作業的資源使用方式。其中不包括批作業和Session叢集啟動並執行作業。

作業運行情況下,每十分鐘發送一次資源消耗情況。

注意事項

  • 目前僅支援將訊息投遞至SLS,因此您需要建立Log ServiceProject和Logstore,操作詳情請參見使用LoongCollector採集並分析ECS文本日誌

  • 投遞功能本身不收費,SLS的使用(日誌庫索引等)會產生流量自費,詳情請參見計費概述

  • SLS中查詢、分析日誌需要開啟索引,開啟後會產生索引流量和索引儲存空間,費用說明請參見計費概述,是否建立索引由您自主決定。

  • 您可設定日誌庫的伺服器端加密方式,會話記錄投遞會繼承該加密方式,具體操作請參見資料加密

  • 訊息投遞功能目前僅支援將作業開機記錄投遞到SLS,作業作業記錄可通過其他方式輸出至OSS、SLS或Kafka,具體配置方法請參見配置作業日誌輸出

  • 變更訊息投遞配置,會有最長10 s的延遲。

操作步驟

步驟一:配置訊息投遞渠道

  1. 進入訊息投遞組態管理入口

    1. 登入Realtime Compute管理主控台

    2. 單擊目標工作空間操作列下的控制台

    3. 在左側導覽列上,單擊營運中心 > 組態管理

  2. 配置SLS訊息投遞參數

    1. 訊息投遞配置頁簽開啟投遞到Log ServiceSLS開關。

    2. 配置SLS相關資訊。

      配置項

      說明

      授權模式

      • STS Token:選擇此模式,只能投遞到Flink工作空間所在地區的SLS專案下的日誌庫。因此您僅需要再配置Log Service的專案和日誌庫。

      • AccessKey:選擇此模式,支援投遞到其他地區的SLS專案下的日誌庫。因此您需要再配置endpiont、AccessKeyId和AccessKeySecret。

      Log Service專案

      SLS專案名稱。

      Log Service日誌庫

      SLS LogStore。

      Endpoint

      SLS服務的Endpoint地址。

      當授權模式為STS Token系統會預設設定為Flink工作空間所在地區對應的endpoint;當授權模式為AccessKey,需要您手動設定.

      投遞範圍

      具體訊息內容,詳情請參見下文欄位含義說明

      AccessKeyId

      阿里雲帳號的AccessKey ID和AccessKey Secret。

      重要

      為了避免AK資訊泄露,此處通過變數的方式來管理您的AK資訊。您可以單擊下拉式箭頭選擇已建立的變數名,或單擊參數右側的image直接建立新變數。

      有關變數管理及如何查看AccessKey ID和AccessKey Secret值的詳細資料,請參見變數管理如何查看AccessKey ID和AccessKey Secret資訊?

      AccessKeySecret

    3. 單擊儲存

步驟二:查看投遞訊息

操作步驟

  1. 單擊Log Service專案右側的開啟SLS控制台

    image

  2. 查看原始日誌的資訊。

    image

欄位含義說明

四種類型的訊息Topic欄位含義詳情如下。

開機記錄(JOB_START_LOG)

欄位

含義

messageType

訊息類型,取值固定為JOB_START_LOG(作業開機記錄)。

deploymentId

已部署作業ID。

deploymentName

已部署作業名稱。

jobId

工作執行個體ID。

tag

作業標籤(如無配置為空白)。

length

日誌總長度。

offset

用於日誌分區時標記該條日誌的起始位置。

content

作業開機記錄詳情。

workspace

工作空間ID。

namespace

專案空間名稱。

messageId

訊息ID。

timestamp

時間戳記。

資源詳情(JOB_RESOURCE_QUOTA)

欄位

含義

messageType

訊息類型,取值固定為RESOURCE_QUOTA(資源使用)。

namespaceTotalCpuMemory

專案空間總共的資源CU數。

namespaceTotalCpu

專案空間總共的資源CU數。

namespaceTotalMemory

專案空間總共的記憶體資源量,

namespaceUsedCpuMemory

專案空間已使用的資源CU數。

namespaceUsedCpu

專案空間已使用的資源CU數。

namespaceUsedMemory

專案空間已使用的記憶體資源量。

resourceQueueName

資源隊列名稱。

resourceQueueTotalCpuMemory

資源隊列總資源CU數。

resourceQueueTotalCpu

資源隊列總資源CU數。

resourceQueueTotalMemory

資源隊列總記憶體資源量。

resourceQueueUsedCpuMemory

資源隊列已使用的資源CU數。

resourceQueueUsedCpu

資源隊列已使用的資源CU數。

resourceQueueUsedMemory

資源隊列已使用的記憶體資源量。

workspace

工作空間ID。

namespace

專案空間名稱。

messageId

訊息ID。

timestamp

時間戳記。

運行事件全量投遞(JOB_EVENT)

欄位

含義

messageType

訊息類型,取值固定為JOB_EVENT(運行事件)。

deploymentId

已部署作業ID。

deploymentName

已部署作業名稱。

jobId

工作執行個體ID。

tag

作業標籤(如無配置為空白)

eventId

事件ID。

eventName

事件名稱。

content

作業開機記錄詳情。

workspace

工作空間ID。

namespace

專案空間名稱。

messageId

訊息ID。

timestamp

時間戳記。

作業消耗資源(JOB_RESOURCE_USAGE)

欄位

含義

messageType

訊息類型,取值固定為JOB_RESOURCE_USAGE(作業消耗資源)。

deploymentId

已部署作業ID。

deploymentName

已部署作業名稱。

jobId

工作執行個體ID。

tag

作業標籤(如無配置為空白)。

jobUsedCpu

作業已使用CU數。

jobUsedMemory

作業已使用記憶體數。

workspace

工作空間ID。

namespace

專案空間名稱。

messageId

訊息ID。

timestamp

時間戳記。

相關文檔