建立叢集

配置項

描述

地域

地區指資料中心所在的地理地區，選擇距離近的地區可以降低網路時延，執行個體建立完成後不支援更改地區。

在地區下拉式清單中選擇EMR執行個體所在的物理位置。

业务场景

請您根據自身實際情境進行選擇：

• 数据湖（DataLake）：提供更靈活、可靠、高效的管理叢集，更快的運行巨量資料計算引擎並提供出色的資料分析能力。

  • 支援構建資料湖架構，使用JindoFS進行資料湖加速。

  • 支援OSS-HDFS（全託管HDFS）作為儲存，減少您的營運成本，完全基於使用量計費。

  更多資訊，請參見資料湖叢集。

• 数据分析（OLAP）：將海量資料通過匯入或者外表等形式引入到OLAP分析引擎裡，例如，ClickHouse、StarRocks，提供高效、即時和靈活的資料分析能力，滿足使用者畫像、人群圈選、BI報表和業務分析等一系列的業務情境。

• 实时数据流（DataFlow）：是EMR平台上提供的Realtime Compute一站式解決方案，擁有分布式、高輸送量和高可擴充性的訊息系統Kafka和基於Apache Flink官方產品Ververica提供的Flink商業核心兩大組件，專註於解決Realtime Compute端到端的各類問題，廣泛應用於即時資料ETL和日誌採集分析等情境，您也可以單獨使用其中任一組件。

• 数据服务（DataServing）：

  • 提供更靈活、可靠、高效的資料服務叢集。

  • 提供半託管HBase叢集，同時可以基於OSS-HDFS（JindoFS服務）解耦計算叢集與資料存放區。

  • 支援JindoData本機快取以進一步提高資料服務叢集的讀寫效能。

  更多資訊，請參見資料服務叢集。

• 自定义集群（Custom）：自訂叢集提供了豐富的服務搭配。您可以根據需求選擇需要的服務。

  說明

  在生產環境中，建議避免將多個儲存服務部署在同一個節點群組上。

产品版本

EMR產品的發行版本，詳細請參見發行版本。

服务高可用

預設關閉。開啟高可用後，EMR會建立多個Master節點來支援ResourceManager和NameNode的高可用，並將他們分布在多個底層硬體上，以降低故障風險。

可选服务(至少一项)

根據您的實際需求選擇其他的一些服務，被選中的服務會預設啟動相關的服務進程。

允许采集服务运行日志

支援一鍵開啟或關閉所有服務的日誌採集。預設開啟，將收集您的服務作業記錄，這些日誌僅供叢集診斷使用。

叢集建立後，您可以在基础信息頁面，修改服务运行日志收集状态。

元数据

支援以下方式儲存和管理中繼資料：

• DLF 统一元数据（推薦）：表示中繼資料存放區在資料湖構建DLF中。

  開通DLF後，系統會為您選擇預設的DLF 数据目录，預設為UID。如果針對不同叢集您期望使用不同的資料目錄，則可以按照以下方式建立目錄。

  1. 單擊创建数据目录，在彈出的對話方塊中輸入目錄ID，單擊确定。

  2. 在DLF 数据目录下拉式清單中，選擇您建立的資料目錄。

• 自建 RDS：選擇您自有的或阿里雲RDS執行個體作為中繼資料存放區。

  選擇該方式時，需要配置RDS相關的參數，詳情請參見配置自建RDS。

• 内置 MySQL（不推薦）：該方式的中繼資料存放區在叢集本地環境的MySQL資料庫中。

  說明

  • 測試情境：推薦使用DLF 统一元数据。

  • 生產情境：可以使用DLF 统一元数据或自建 RDS。

集群存储根路径

當您在可選服務地區選取項目了OSS-HDFS服務時，需要配置該參數，如果選擇的是HDFS服務，則無需配置該參數。

首次使用OSS-HDFS服務時，阿里雲帳號（主帳號）需要單擊此处，根據提示資訊完成授權。RAM使用者需要阿里雲帳號授權開通並授予AliyunEMRDlsFullAccess許可權，以及AliyunOSSDlsDefaultRole和AliyunEMRDlsDefaultRole角色，詳情請參見為RAM使用者授權。選擇一個已在同一地區下開通了OSS-HDFS服務的Bucket，或者單擊创建 OSS-HDFS 实例，根據提示資訊建立一個OSS-HDFS執行個體，作為叢集的儲存根路徑。

配置項

說明

付费类型

預設為訂用帳戶。當前支援的付費類型如下：

• 按量付费：一種後付費模式，即先使用再付費。隨用隨付是根據實際使用的小時數來支付費用，每小時計費一次，適合短期的測試工作或是靈活的動態任務。

• 包年包月：一種預付費模式，即先付費再使用。

  說明

  • 建議測試情境下使用按量付费，測試正常後再建立一個包年包月的生產叢集正式使用。

  • 訂用帳戶執行個體還需選擇付费时长和是否開啟自动续费。預設續約時間長度為6個月，且開啟自動續約。開啟自動續約後，執行個體到期前7天會執行自動續約操作，詳情請參見續約說明。

可用区

可用性區域為在同一地區下的不同物理地區，可用性區域之間內網互連。通常使用預設的可用性區域即可。

专有网络

專用網路是您在阿里雲自己定義的一個隔離網路環境，您可以完全掌控自己的專用網路。

選擇已有的專用網路，或者單擊创建 VPC前往專用網路控制台即時建立專用網路，詳情請參見建立和管理專用網路。

交换机

交換器（vSwitch）是組成Virtual Private Cloud的基礎網路模組，用來串連不同的雲資源。

選擇已有的交換器，或者單擊创建交换机前往專用網路控制台即時建立交換器，詳情請參見建立和管理交換器。

交換器的網段大小（CIDR掩碼）決定該交換器下可用的IPv4地址數量。常見網段與可用IP數量對應關係：/24網段約250個可用IP，/20網段約4090個可用IP，/17網段約32764個可用IP。叢集節點數量較多時，應選擇較大網段的交換器，確保有足夠的IP地址分配給所有叢集節點。

交換器網段建立後不可修改。如需更大IP位址範圍，須建立更大網段的交換器並基於該交換器建立新叢集。建立交換器時，控制台會顯示該網段對應的可用IP地址數量，便於評估是否滿足叢集規模需求。

默认安全组

安全性群組是一種虛擬防火牆，用於控制安全性群組內執行個體的入流量和出流量。更多資訊，請參見安全性群組概述。

選擇已有的安全性群組，或者單擊新建安全组前往ECS控制台建立一個安全性群組，詳情請參見建立安全性群組。

节点组

您可以根據需要選擇執行個體規格，詳情請參見執行個體規格類型系列。

• Master：主要負責ResourceManager和NameNode等控制進程的部署。

• Core：主要負責叢集所有資料的儲存，建立叢集完成後也支援按需進行擴容。

• Task：不儲存資料，調整叢集的計算力使用。預設不開啟，需要時可自訂配置。

  重要

  Task節點群組支援的付費類型有隨用隨付、搶佔式執行個體和訂用帳戶。

• 加入部署集：開啟高可用後，Master預設加入部署集。部署集是控制執行個體分布的策略，詳情請參見部署集。

• 系统盘：根據需要選擇SSD雲端硬碟、ESSD雲端硬碟或者高效雲端硬碟。系統硬碟大小請根據需要調整。

• 数据盘：根據需要選擇SSD雲端硬碟、ESSD雲端硬碟或者高效雲端硬碟。資料盤大小請根據需要調整。

  說明

  當您選擇ESSD雲端硬碟時，可以根據所選雲端硬碟的容量大小來設定不同的效能層級（PL層級），以滿足不同的叢集效能需求。預設的效能層級為PL1。根據云盤的容量範圍，系統硬碟支援PL0、PL1和PL2三個效能層級的雲端硬碟規格，資料盤支援PL0、PL1、PL2和PL3四個效能層級的雲端硬碟規格。雲端硬碟的詳細資料，請參見雲端硬碟概述。

• 实例数量：Master節點群組預設1台。如果開啟高可用，可以有多台Master執行個體。

  Core節點群組預設2台，您可以根據需要調整。

• 附加安全组：附加安全性群組可以靈活定製不同的外部資源或應用程式之間的訪問。您最多可以為該節點群組關聯2個附加安全性群組。

• 挂载公网：叢集是否掛載Elastic IP Address地址，預設不開啟。僅DataLake叢集支援節點群組層級掛載公網。

  說明

  如果您未開啟該功能，建立後您想使用公網IP地址訪問，請在ECS上申請開通公網IP地址，詳情請參見申請EIP。

集群伸缩

您可根據需要選擇Auto Scaling規則：

• 不使用弹性伸缩规则（預設）。

• 自定义弹性伸缩规则：需要自訂Auto Scaling規則，可按時間或按負載實現自動Auto Scaling。詳情請參見建立自訂Auto Scaling規則。

• 托管弹性伸缩规则：當您啟動叢集時，EMR會按託管伸縮規則預調配Task節點數量。詳情請參見建立託管Auto Scaling規則。

配置項

說明

集群名称

叢集的名字，長度限制為1~64個字元，僅可使用中文、字母、數字、短劃線（-）和底線（_）。

身份凭证

身份凭证用於安全地登入叢集的Master節點，登入操作請參見登入叢集。支援以下身份：

• 密钥对（預設）：選擇已有的金鑰組，或者單擊新建密钥对即時建立金鑰組。

  金鑰組是一種安全便捷的登入認證方式，由公開金鑰和私密金鑰組成，僅支援Linux執行個體。關於金鑰組的使用詳情，請參見SSH金鑰組。

• 密码：設定Master節點的登入密碼，並輸入確認密碼。使用者名稱預設為root。

  • 密碼規則：8~30個字元，且必須同時包含大寫字母、小寫字母、數字和特殊字元。

  • 特殊字元包括：驚嘆號（!）、at（@）、井號（#）、貨幣符號（$）、百分比符號（%）、乘方（^）、and（&）和星號（*）。