全部產品
Search
文件中心

Resource Orchestration Service:安裝Spark叢集版

更新時間:May 31, 2025

Resource Orchestration Service服務ROS(Resource Orchestration Service)支援通過建立資源棧的方式安裝Spark叢集版。

背景資訊

Apache Spark是專為大規模資料處理設計的通用計算引擎。Spark將Scala用作其應用程式架構,啟用了記憶體分布資料集,除了能夠提供互動式查詢外,還可以迭代最佳化工作負載。

模板樣本Spark叢集版-已有Virtual Private Cloud在已有專用網路、交換器和安全性群組等資源的基礎上,建立多台ECS執行個體。其中一台ECS執行個體綁定Elastic IP Address(EIP)作為管理節點,其他ECS執行個體使用Auto Scaling進行管理。模板樣本中使用的軟體版本如下:

  • Java JDK(Java Development Kit):1.8.0

  • Hadoop(分布式系統基礎架構):2.7.7

  • Scala(程式設計語言):2.12.1

  • Spark(計算引擎):2.1.0

使用模板建立資源棧成功後即可擷取SparkWebSiteURL,登入Spark管理主控台。如需通過外網訪問SparkWebSiteURL,請在安全性群組添加入方向8080訪問規則。具體操作,請參見添加安全性群組規則

步驟一:建立資源棧

  1. 登入Resource Orchestration Service控制台

  2. 在左側導覽列,單擊公用模板

  3. 尋找模板Spark 叢集版(已有VPC)

  4. 單擊建立資源棧

  5. 配置參數頁面,輸入資源棧名稱,並設定以下參數。

    參數

    說明

    樣本

    現有VPC的執行個體ID

    VPC執行個體ID。

    關於如何建立和查詢VPC執行個體,請參見建立和管理專用網路

    vpc-bp1m6fww66xbntjyc****

    交換器可用性區域

    專用網路下的交換器可用性區域ID。

    華東1可用性區域K

    網路交換器ID

    專用網路下的交換器ID。

    關於如何建立和查詢交換器,請參見建立和管理交換器

    vsw-bp183p93qs667muql****

    業務安全性群組ID

    ECS安全性群組ID。

    關於如何查詢安全性群組ID,請參見查詢安全性群組

    sg-bp15ed6xe1yxeycg7o****

    執行個體規格

    ECS執行個體規格。

    請選用有效執行個體規格。更多資訊,請參見執行個體規格類型系列

    ecs.c5.large

    執行個體密碼

    ECS執行個體密碼。

    Test_12****

    磁碟類型

    取值:

    • cloud_efficiency:高效雲端硬碟。

    • cloud_ssd:SSD雲端硬碟。

    更多資訊,請參見雲端硬碟概述

    cloud_efficiency

    系統硬碟空間

    執行個體系統硬碟大小。

    取值範圍:20~500

    單位:GB

    40

    執行個體數量

    Spark叢集數量。

    取值範圍:3~10

    3

  6. 單擊下一步:檢查並確認然後單擊建立

  7. 資源棧資訊頁簽查看資源棧狀態。資源棧建立成功後,單擊輸出,擷取SparkWebSiteURL。

  8. 訪問SparkWebSiteURL,登入Spark管理主控台。

步驟二:查看資源

  1. 在左側導覽列,單擊資源棧

  2. 資源棧列表頁面,單擊目標資源棧名稱。

  3. 單擊資源頁簽,查看資源資訊。

    本樣本中,資源資訊如下表所示。

    資源

    數量

    資源說明

    規格說明

    ALIYUN::ECS::Instance

    1

    建立一台雲端服務器,用於安裝Spark Master服務。

    • 總數量:1台。

    • 執行個體規格:ecs.c5.large。

    • 磁碟類別:高效雲端硬碟。

    • 系統硬碟空間:40GB。

    • 分配公網IP:是。

    ALIYUN::ESS::ScalingGroup

    2

    建立兩個Auto Scaling組,用於安裝Spark Slave服務。

    Auto Scaling組會根據您設定的伸縮規則自動為您調整彈性計算資源大小,以滿足您業務需求的變化。

    • 總數量:2台。

    • 執行個體規格:ecs.c5.large。

    • 磁碟類別:高效雲端硬碟。

    • 系統硬碟空間:40GB。

    • 分配公網IP:是。

    ALIYUN::RAM::Role

    1

    建立RAM角色,用於頒發短時有效存取權杖(STS令牌),使其成為一種更安全的授予存取權限的方法。

    ALIYUN::VPC::EIP

    1

    建立一個Elastic IP Address,用於綁定ECS執行個體,以便通過外網訪問ECS執行個體。

    ALIYUN::OOS::Template

    2

    建立兩個CloudOps Orchestration Service (OOS)模板,用於建立生命週期掛鈎。

    關於生命週期掛鈎的更多資訊,請參見生命週期掛鈎

    說明

    資源收費情況,請參見官網報價或各產品定價文檔。