資料訂閱功能支援建立消費組。通過建立多個消費組,您可以對同一個資料來源的資料進行重複消費,從而降低資料訂閱的使用成本。
前提條件
已建立訂閱執行個體,且執行個體的運行狀態為正常。更多資訊,請參見訂閱者案概覽。
注意事項
若您需要消費的單行資料超過16MB,則可能會導致消費用戶端記憶體OOM(Out of Memory)。
一個資料訂閱執行個體最多可以建立20個消費組,通過建立多個消費組可以實現資料的重複消費。
一個消費組只能建立一個消費者(consumer),並通過該消費者執行資料消費。
若DTS增量資料擷取模組或者用戶端切換,則可能會導致資料重複。
操作步驟
進入目標地區的訂閱任務的列表頁面(二選一)。
通過DTS控制台進入
在左側導覽列,單擊數據訂閱。
在頁面左上方,選擇訂閱執行個體所屬地區。
通過DMS控制台進入
說明實際操作可能會因DMS的模式和布局不同,而有所差異。更多資訊。請參見極簡模式控制台和自訂DMS介面布局與樣式
在頂部功能表列中,選擇
。在訂閱任務右側,選擇訂閱執行個體所屬地區。
定位至目標的訂閱執行個體,並單擊執行個體ID。
單擊左側導覽列的資料消費。
在資料消費頁面,單擊左上方的新增消費組。
在彈出的新增消費組對話方塊,設定消費組資訊。
配置
說明
消費組名稱
您可以根據需要修改消費組名稱,建議配置具有業務意義的名稱,便於後續識別。
帳號
設定該消費組的帳號資訊。
由大寫字母、小寫字母、數字、底線中的任意一種或多種組成。
最長16個字元。
密碼
設定該消費組帳號對應的密碼資訊。
由大寫字母、小寫字母、數字、特殊字元中的任意兩種或兩種以上組成。
密碼長度為8~32個字元。
確認密碼
再次填入相同的密碼。
單擊確定。
後續步驟
新增消費組後,根據源庫類型、消費用戶端類型等,選擇訂閱資料的消費方式。
消費方式 | 適用的資料庫類型 | 使用說明 |
PolarDB-X 1.0、DMS LogicDB | 適用於資料庫類型為PolarDB-X 1.0或DMS LogicDB的訂閱執行個體。 說明 資料庫類型為PolarDB-X 1.0或DMS LogicDB的訂閱執行個體,僅支援此消費方式。 | |
MySQL、PolarDB for MySQL、PostgreSQL、Oracle、PolarDB(相容Oracle)、PolarDB for PostgreSQL、PolarDB-X 2.0 | 適用於大多數情境。 說明 滿足資料庫類型要求的訂閱執行個體,均建議採用此消費方式。 | |
適用於使用分布式流處理架構Apache Flink的情境。 | ||
適用於有自己的Kafka用戶端,且具備源碼開發能力的情境。 |