ApsaraMQ for Kafka：整合概述

前提條件

Connector底層基於EventBridge和Function Compute實現，在使用Connector之前，請確保已開通以下服務。

• 開通事件匯流排EventBridge並授權

• 開通Function Compute服務

• 開通目標服務。例如，建立流出目標端為Tablestore的Sink Connector，請先開通Table Store（Tablestore）服務。

  說明

  若目標服務為Simple Log Service，可不開通Function Compute服務。

計費說明

• EventBridge的計費說明，請參見計費說明。

• Function Compute的計費說明，請參見計費概述。

權限原則

• 阿里雲帳號：在控制台建立Connector時，控制台會彈出詳細授權策略，按照控制台提示確認授權即可。

• RAM使用者：RAM使用者至少要求阿里雲帳號授權以下策略：

  • AliyunKafkaFullAccess：管理ApsaraMQ for Kafka的許可權。

  • AliyunFCFullAccess：管理Function Compute的許可權。

  • AliyunEventBridgeFullAccess：管理EventBridge的許可權。

  • 目標服務的系統管理權限。

  除上述必要許可權外，如需使用擴充能力需額外授權。例如：

  • 如需通過VPC網路訪問目標服務，需要被授予AliyunVPCFullAccess權限原則來管理VPC資源。

  • 如需查看Function ComputeFC（Function Compute）作業記錄等資訊，需要被授予AliyunLogFullAccess權限原則來管理Log Service。

產品功能

• 整合豐富的資料來源

  Connector生態整合旨在打通阿里雲公用雲端、跨雲、混合雲情境下的資料連線。支援雲上多款產品的日誌接入、支援使用者自建情境的資料來源接入、支援跨雲情境的資料來源接入等。目前已打通日誌、資料庫、訊息中介軟體等多種情境的資料接入。

• 資料清洗/資料流出

  Connector生態整合提供了強大的、介面化的資料ETL（Extract-Transform-Load）配置能力，方便快捷地對完成上報、進入到訊息佇列的資料進行清洗、格式化、資料格式轉換等操作。並支援將完成ETL處理的資料轉儲到下遊。

• Serverless自訂處理

  Connector生態整合基於Serverless平台的優勢，依託Function ComputeFC的使用者自編碼能力，支援使用者基於Serverless FunctionFunction Compute平台自訂地完成商務邏輯的編寫，完成自訂的資料處理分發功能。

使用限制

使用Connector生態整合功能時的限制項如下表所示。

概念介紹—訊息流程入（Source）

訊息流程入是訊息的Data Integration組件。訊息流程入能夠在多種資料來源（訊息、Log日誌、關係型資料和非關係型資料等）之間進行靈活、快速、無侵入式的Data Integration。可以實現跨機房、跨資料中心、跨雲的Data Integration方案，並能自助實施、營運、監控整合資料。主要能力是將各類資料流入至ApsaraMQ for Kafka，並且可靠地管理來自不同源頭的資料來源，同時對來來源資料進行篩選和過濾。

概念介紹—訊息流程出（Sink）

訊息流程出的主要能力是將ApsaraMQ for Kafka的資料流出到各類資料目標，Connector生態整合模組對ApsaraMQ for Kafka的訊息進行可靠分發，同時在分發時對訊息資料進行清洗和過濾。

概念介紹—資料處理（Transform）

資料處理是Connector生態整合的重要功能組件，可以在配置訊息流程入或訊息流程出任務的同時選擇性配置資料處理能力。依託事件匯流排EventBridge強大的自研資料處理及靈活的Function Compute自訂能力，提供7種匹配模式（指定值匹配、首碼匹配、尾碼匹配、除外匹配、數值匹配、數組匹配、複雜組合邏輯匹配）、5種規則轉換器（完整事件、部分事件、常量、模板轉換器、Function Compute模板轉換器），可快速實現訊息的轉換、處理和分析能力。

概念介紹—任務（Task）

任務是運行Connector生態整合的資源實體，也是具體實現。通常情況下，一條任務由源、目標及其配置的過濾規則和轉換規則構成。任務的底層資源即事件匯流排EventBridge的事件流（EventStreaming）功能。

任務包括資源配置和資料處理兩部分，資源配置是任務的源及目標的配置資訊，是任務的重要組成部分。資料處理請參見概念介紹—資料處理（Transform）。

版本說明

ApsaraMQ for Kafka的Connector共有兩個版本，若您的阿里雲帳號未建立過舊版Connector，那麼控制台僅展示新版入口；若已建立過舊版Connector任務，控制台會同時展示新版和舊版入口，建議您使用新版Connector。

新舊版本訊息流程入Connector即Source Connector能力相同，此處對訊息流程出Connector即Sink Connector能力差異做以下說明。