Resource Orchestration Service服務ROS(Resource Orchestration Service)支援通過建立資源棧的方式安裝Kafka叢集版。
背景資訊
Apache Kafka是一個開源流處理平台,使用Scala和Java語言編寫。Kafka作為一種高輸送量的分布式發布訂閱訊息系統,可以處理消費者模式網站中的所有動作流資料。
模板樣本Kafka 叢集版-已有Virtual Private Cloud在已有專用網路、交換器和安全性群組等資源的基礎上,建立多台ECS執行個體。其中一台ECS執行個體綁定Elastic IP Address(EIP)作為管理節點,其他ECS執行個體使用Auto Scaling進行管理。模板樣本中使用的軟體版本如下:
Java JDK(Java Development Kit):1.8.0
Scala(程式設計語言):2.12
Kafka(計算引擎):0.10.2.2
模板樣本中的Kafka資料存放區在資料盤中,預設路徑為:/home/software/。預設Kafka bin目錄路徑為:/home/software/kafka/bin。
使用模板建立資源棧成功後即可擷取KafkaManagerUrl,登入Kafka管理主控台。如需通過外網訪問KafkaManagerUrl,請在安全性群組添加入方向9000訪問規則。具體操作,請參見添加安全性群組規則。
步驟一:建立資源棧
在左側導覽列,單擊公用模板。
尋找模板Kafka 叢集版(已有VPC)。
單擊建立資源棧。
在配置參數頁面,輸入資源棧名稱,並設定以下參數。
參數
說明
樣本
現有VPC的執行個體ID
VPC執行個體ID。
關於如何建立和查詢VPC執行個體,請參見建立和管理專用網路。
vpc-bp1m6fww66xbntjyc****
交換器可用性區域
專用網路下的交換器可用性區域ID。
華北1可用性區域C
網路交換器ID
專用網路下的交換器ID。
關於如何建立和查詢交換器,請參見建立和管理交換器。
vsw-bp183p93qs667muql****
業務安全性群組ID
ECS安全性群組ID。
關於如何查詢安全性群組ID,請參見查詢安全性群組。
sg-bp15ed6xe1yxeycg7o****
執行個體規格
ECS執行個體規格。
請選用有效執行個體規格。更多資訊,請參見執行個體規格類型系列。
ecs.c5.large
執行個體密碼
ECS執行個體密碼。
Test_12****
公網IP頻寬值
公網IP頻寬。
單位:Mbps
5
磁碟類型
取值:
cloud_efficiency:高效雲端硬碟。
cloud_ssd:SSD雲端硬碟。
cloud_essd:ESSD雲端硬碟。
cloud:普通雲端硬碟。
ephemeral_ssd:本地SSD盤。
更多資訊,請參見雲端硬碟概述。
cloud_efficiency
資料盤空間
執行個體資料盤大小。
取值範圍:20~32,786
單位:GB
20
Kafka監聽連接埠
請使用1000以上的連接埠號碼。
預設值:9092
9092
訊息保留時間
訊息最長保留時間。
預設值:24
單位:小時
24
Topic規格
Topic數量。
預設值:50
50
執行個體數量
Kafka叢集數量。
取值範圍:3~10
3
單擊建立。
在資源棧資訊頁簽查看資源棧狀態。資源棧建立成功後,單擊輸出,擷取KafkaManagerUrl。
訪問KafkaManagerUrl,登入Kafka管理主控台。
步驟二:查看資源
在左側導覽列,單擊資源棧。
在資源棧列表頁面,單擊目標資源棧名稱。
單擊資源頁簽,查看資源資訊。
本樣本中,資源資訊如下表所示。
資源
數量
資源說明
規格說明
ALIYUN::ECS::InstanceGroup
1
建立一台雲端服務器,用於安裝Kafka Master服務。
總數量:1台。
執行個體規格:ecs.c5.large。
磁碟類別:高效雲端硬碟。
系統硬碟空間:40GB。
分配公網IP:是。
ALIYUN::ESS::ScalingGroup
2
建立兩個Auto Scaling組,用於安裝Kafka Slave服務。
Auto Scaling組會根據您設定的伸縮規則自動為您調整彈性計算資源大小,以滿足您業務需求的變化。
總數量:2台。
執行個體規格:ecs.c5.large。
磁碟類別:高效雲端硬碟。
系統硬碟空間:40GB。
分配公網IP:是。
ALIYUN::RAM::Role
1
建立一個RAM角色,用於頒發短時有效存取權杖(STS令牌),使其成為一種更安全的授予存取權限的方法。
無
ALIYUN::VPC::EIP
1
建立一個Elastic IP Address,用於綁定ECS執行個體,以便通過外網訪問ECS執行個體。
無
ALIYUN::OOS::Template
1
建立一個OOS模板,用於建立生命週期掛鈎。
關於生命週期掛鈎的更多資訊,請參見生命週期掛鈎。
無
說明資源收費情況,請參見官網報價或各產品定價文檔。