本文介紹訊息整合的產品功能、使用限制以及基本概念。
背景資訊
企業在向數字化轉型的過程中,往往會遇到諸多挑戰。例如,缺少統一的資訊整合途徑;資料格式類型多樣,給傳輸和整合帶來不便;缺少分享資料和後端服務的便捷服務;缺少雲上雲下跨網路的安全資訊通道。訊息整合是一個全棧式的訊息與Data Integration平台,可顯著簡化您的訊息整合流程,並支援雲上雲下、跨地區整合,協助您實現數字化轉型。
訊息整合為訊息產品提供的低代碼,全棧事件流(EventStreaming)服務平台,聚焦訊息整合、資料連線、資料處理、服務整合等情境。提供可視化UI介面來便捷地建立整合任務,支援可視化設計與編排。提供跨地區、跨執行個體、跨應用的跨端串連能力。顯著降低訊息領域的整合與開發成本。

產品功能
整合豐富的資料來源
訊息整合旨在打通阿里雲公用雲端、跨雲、混合雲情境下的資料連線。支援雲上多款產品的日誌接入、支援使用者自建情境的資料來源接入、支援跨雲情境的資料來源接入等。目前已打通日誌、資料庫、訊息中介軟體等多種情境的資料接入。
資料清洗/資料流出
訊息整合提供了強大的、介面化的資料ETL(Extract-Transform-Load)配置能力,方便快捷地對完成上報、進入到訊息佇列的資料進行清洗、格式化、資料格式轉換等操作。並支援將完成ETL處理的資料轉儲到下遊。
Serverless自訂處理
訊息整合基於Serverless平台的優勢,依託Function ComputeFC的使用者自編碼能力,支援使用者基於Serverless FunctionFunction Compute平台自訂地完成商務邏輯的編寫,完成自訂的資料處理分發功能。
使用限制
使用訊息整合功能時的限制項如下表所示。
限制項 | 說明 |
任務數 | 單地區總任務數(包括訊息流程入和訊息流程出)不超過20個,如果您需要提升建立訊息整合的任務數,請提交工單申請。 |
任務名稱 | 必須以字母或數字開頭,剩餘部分可以包含字母、數字、短劃線(-)。不超過127個字元,超出長度自動截斷。 |
事件模式比對 | 在字串運算式(stringExpression)模式下,每個欄位最多包含5個MAP結構(expression)。 |
事件內容轉換 |
|
極端情況任務資料丟失 | 具體資訊,請參見重試和死信。 |
概念介紹—訊息流程入(Source)
訊息流程入是訊息的Data Integration組件。訊息流程入能夠在多種資料來源(訊息、Log日誌、關係型資料和非關係型資料等)之間進行靈活、快速、無侵入式的Data Integration。可以實現跨機房、跨資料中心、跨雲的Data Integration方案,並能自助實施、營運、監控整合資料。主要能力是將各類資料流入至訊息產品,並且可靠地管理來自不同源頭的資料來源,同時對來來源資料進行篩選和過濾。

概念介紹—訊息流程出(Sink)
訊息流程出的主要能力是將訊息產品的資料流出到各類資料目標,訊息整合模組對訊息產品的訊息進行可靠分發,同時在分發時對訊息資料進行清洗和過濾。

概念介紹—資料處理(Transform)
資料處理是訊息整合的重要功能組件,可以在配置訊息流程入或訊息流程出任務的同時選擇性配置資料處理能力。依託事件匯流排EventBridge強大的自研資料處理及靈活的Function Compute自訂能力,提供7種匹配模式(指定值匹配、首碼匹配、尾碼匹配、除外匹配、數值匹配、數組匹配、複雜組合邏輯匹配)、5種規則轉換器(完整事件、部分事件、常量、模板轉換器、Function Compute模板轉換器),可快速實現訊息的轉換、處理和分析能力。
概念介紹—任務(Task)
任務是運行訊息整合的資源實體,也是訊息整合的具體實現。通常情況下,一條任務由源、目標及其配置的過濾規則和轉換規則構成。任務的底層資源即事件匯流排EventBridge的事件流(EventStreaming)功能。
任務包括資源配置和資料處理兩部分,資源配置是任務的源及目標的配置資訊,是任務的重要組成部分。資料處理請參見概念介紹—資料處理(Transform)。
任務一旦建立完成,訊息流程入或者流出的資源類型會置為不可修改狀態。