全部產品
Search
文件中心

ApsaraMQ for Kafka:步驟三:建立資源

更新時間:Jan 25, 2025

當使用雲訊息佇列 Kafka 版進行訊息收發時,您需要在已成功部署的Kafka執行個體中建立Topic和Group資源。生產者需要將訊息發送至指定Topic,消費者通過訂閱Topic擷取訊息進行消費。消費者消費訊息時,需要指定Group訂閱對應的Topic。Group和Topic的關係是N∶N,即同一個Group可以訂閱多個Topic,同一個Topic也可以被多個Group訂閱。

前提條件

您已根據網路環境購買並部署雲訊息佇列 Kafka 版服務:

步驟一:建立Topic

重要

執行個體部署成功後,系統會自動建立兩個用於巡檢的Topic:__alikafka_housekeeping_local_topic__alikafka_housekeeping_cloud_topic,且不支援刪除操作。詳情請參見巡檢說明

  1. 登入雲訊息佇列 Kafka 版控制台

  2. 概览頁面的资源分布地區,選擇地區。

    重要

    Topic需要在應用程式所在的地區(即所部署的ECS的所在地區)進行建立。Topic不能跨地區使用。例如Topic建立在華北2(北京)這個地區,那麼訊息生產端和消費端也必須運行在華北2(北京)的ECS。

  3. 实例列表頁面,單擊目標執行個體名稱。

  4. 在左側導覽列,單擊Topic 管理

  5. Topic 管理頁面,單擊创建 Topic

  6. 创建 Topic面板,設定Topic屬性,然後單擊確定

    參數

    說明

    樣本

    名称

    Topic名稱。

    demo

    描述

    Topic的簡單描述。

    demo test

    分区数

    Topic的分區數量。

    12

    存储引擎

    說明

    當前僅非Serverless專業版執行個體支援選擇儲存引擎類型,其他執行個體暫不支援選擇,預設為雲端儲存類型。

    Topic訊息的儲存引擎。

    雲訊息佇列 Kafka 版支援以下兩種儲存引擎。

    • 云存储:底層接入阿里雲雲端硬碟,具有低時延、高效能、持久性、高可靠等特點,採用分布式3副本機制。執行個體的规格类型标准版(高写版)時,儲存引擎只能為云存储

    • Local 存储:使用原生Kafka的ISR複製演算法,採用分布式3副本機制。

    云存储

    消息类型

    Topic訊息的類型。

    • 普通消息:預設情況下,保證相同Key的訊息分布在同一個分區中,且分區內訊息按照發送順序儲存。叢集中出現機器宕機時,可能會造成訊息亂序。當存储引擎選擇云存储時,預設選擇普通消息

    • 分区顺序消息:預設情況下,保證相同Key的訊息分布在同一個分區中,且分區內訊息按照發送順序儲存。叢集中出現機器宕機時,仍然保證分區內按照發送順序儲存。但是會出現部分分區發送訊息失敗,等到分區恢複後即可恢複正常。當存储引擎選擇Local 存储時,預設選擇分区顺序消息

    普通消息

    日志清理策略

    Topic日誌的清理策略。

    存储引擎選擇Local 存储(當前僅專業版執行個體支援選擇儲存引擎類型為Local儲存,標準版暫不支援)時,需要配置日志清理策略

    雲訊息佇列 Kafka 版支援以下兩種日誌清理策略。

    • Delete:預設的訊息清理策略。在磁碟容量充足的情況下,保留在最長保留時間範圍內的訊息;在磁碟容量不足時(一般磁碟使用率超過85%視為不足),將提前刪除舊訊息,以保證服務可用性。

    • Compact:使用Kafka Log Compaction日誌清理策略。Log Compaction清理策略保證相同Key的訊息,最新的value值一定會被保留。主要適用於系統宕機後恢複狀態,系統重啟後重新載入緩衝等情境。例如,在使用Kafka Connect或Confluent Schema Registry時,需要使用Kafka Compact Topic儲存系統狀態資訊或配置資訊。

      重要

      Compact Topic一般只用在某些生態組件中,例如Kafka Connect或Confluent Schema Registry,其他情況的訊息收發請勿為Topic設定該屬性。具體資訊,請參見雲訊息佇列 Kafka 版Demo庫

    Compact

    标签

    Topic的標籤。

    demo

    建立完成後,在Topic 管理頁面的列表中顯示已建立的Topic。

步驟二:建立Group

  1. 登入雲訊息佇列 Kafka 版控制台

  2. 概览頁面的资源分布地區,選擇地區。

  3. 实例列表頁面,單擊目標執行個體名稱。

  4. 在左側導覽列,單擊Group 管理

  5. Group 管理頁面,單擊创建 Group

  6. 创建 Group面板的Group ID文字框輸入Group的名稱,在描述文字框簡要描述Group,並給Group添加標籤,單擊確定

    建立完成後,在Group 管理頁面的列表中顯示已建立的Group。

相關文檔