E-MapReduce：什麼是EMR on ECS

產品架構

EMR主要由四部分組成，分別為整合的阿里雲產品、開源組件、自研組件和叢集管理。其中EMR提供的組件類型及使用情境，請參見組件概覽和應用情境。

整合的阿里雲產品

• EMR 可以部署在阿里雲 ECS 上。

• 資料可以儲存在阿里雲 OSS 上。

• EMR 與 DataWorks 整合，您可以在 DataWorks 上使用 EMR 作為作業計算和資料存放區引擎。

• EMR Workflow 提供全託管的工作流程和任務調度服務。

開源組件

整合 Apache 社區開源巨量資料元件，涵蓋Data Integration、資料存放區、資源管理、計算引擎、資料開發、資料服務等多個領域，方便您快速搭建高效可靠的資料處理和管理平台。

自研組件

為了讓開源巨量資料元件和服務更好地運行在阿里雲基礎設施上，EMR 提供以下自研組件：

• OSS-HDFS：相容 Hadoop Distributed File System介面的Object Storage Service解決方案，支援巨量資料計算任務通過標準 HDFS 協議直接存取阿里雲 OSS 的資料。

• JindoCache：分布式緩衝解決方案，通過在記憶體中快取資料塊，提高資料讀取效能，並減少對底層儲存系統的壓力。

• DLF-Auth：由資料湖構建（DLF, Data Lake Formation）產品提供，可開啟 DLF 的資料許可權功能。

叢集管理

• 快速建立、擴容叢集能力，支援Auto Scaling部署。

• 叢集組態管理、服務管理，提供節點和服務的可視化營運能力。

• 多維度指標監控、叢集日誌與分析、監控與警示能力。

產品優勢

與自建 Hadoop 叢集的詳細對比，請參見 EMR與自建Hadoop叢集對比優勢。

EMR AI 助手

EMR AI 助手是 EMR 提供的智能營運服務。它基於大語言模型串連您的叢集，讀取叢集狀態與監控資料後再給出結論，因此診斷和建議基於叢集的實際情況，不是通用回答。

核心能力

• 效能診斷：叢集出現查詢逾時、延遲飆升等問題時，AI 助手可以定位原因並給出處理建議。例如提問「最近有哪些慢查詢」，AI 助手會列出 Top SQL 並逐條分析瓶頸。

• 健康巡檢：按您設定的周期檢查叢集配置與運行狀態，輸出巡檢報告。

• 主動推送：配置智能日報和警示後，AI 助手持續監控叢集，發現問題主動推送到DingTalk或飛書，無需人工值守。

• 問答諮詢：用自然語言提問即可，支援多輪對話，在一次會話中逐步深入排查問題。

使用方式

AI 助手支援三種接入方式：控制台內的交談視窗、DingTalk或飛書群、API 與 SDK。

• 快速上手，請參見 EMR AI助手快速入門。

• 瞭解完整功能模組與覆蓋情境，請參見 EMR AI助手功能介紹。

• 瞭解版本規格與計費方式，請參見 EMR AI助手包月計費說明。

產品計費

EMR 費用由 EMR 服務費用和 ECS 產品費用組成。如果您在使用 EMR 過程中還用到了其他雲產品（如 OSS、DLF、EMR Workflow 等），相關計費規則請參見各產品計費文檔：計費概述、計費說明。

EMR on ECS支援的計費方式如下：

• 訂用帳戶：按一定時間長度購買資源，先付費後使用。通過訂用帳戶，您可以提前預留資源，同時享受價格優惠，幫您節省支出。

• 隨用隨付：按需開通和釋放資源，先使用後付費。通過隨用隨付，您可以靈活使用，無需提前購買大量資源。

其中節點的公網流量費用與EMR叢集使用的計費方式無關，預設使用隨用隨付。

詳細的計費規則，請參見產品計費。

快速開始

• 通過EMR控制台快速建立叢集並執行作業，請參見快速建立和使用資料湖分析叢集。

• 在DataWorks快速使用EMR叢集，完成一站式資料湖開發和治理，請參見入門簡介。

FAQ

相關文檔

• EMR支援資料湖情境、資料分析情境、即時資料流情境、資料服務情境，具體請參見應用情境。

• 想瞭解EMR各版本支援的組件情況，請參見各版本支援的組件。

• 想瞭解EMR叢集的營運與監控能力，請參見叢集營運和叢集監控。