E-MapReduce：作業提交

提交方式

優缺點

適用情境

通過叢集Gateway節點提交作業（推薦）

優點：

• 網路隔離：通過跳板機訪問叢集，不暴露Master節點。

• Auto Scaling：能夠根據叢集負載動態調整Gateway執行個體資源。

• 操作便捷：無需額外配置用戶端環境，可以直接使用預裝的命令列工具（例如spark-submit）來提交作業。

缺點：

• 成本增加：增加了Gateway節點ECS執行個體的成本。

• 企業生產環境作業提交。

• 跨VPC與混合雲架構。

通過阿里雲DataWorks提交作業（推薦）

優點：

• 自動化營運：可視化任務編排與監控警示。

• 企業級功能：支援任務血緣分析與成本最佳化。

• 相容性好：支援其他阿里雲產品統一整合。

缺點：

• 學習成本：需熟悉DataWorks開發規範。

• 成本增加：需要額外支付DataWorks產品的使用費用。

• 周期性ETL任務管理。

• 需要進行複雜依賴管理的DAG工作流程。

通過叢集Master節點提交作業

優點：

• 操作便捷：無需額外配置用戶端環境，可以直接使用預裝的命令列工具（例如spark-submit）來提交作業。

• 成本最低：無需額外資源支出。

缺點：

• 安全隱患：Master節點通常具備高許可權，任何誤操作都有可能導致叢集崩潰，例如錯誤刪除HDFS中繼資料。

• 擴充性不足：存在單點提交瓶頸，無法實現橫向擴充。

• 資源搶佔：頻繁提交大型作業可能會佔用Master節點的計算資源（例如CPU和記憶體），進而影響叢集管理服務（如ZooKeeper和HMaster）的正常運行。

• 開發測試環境快速驗證。

• 臨時性任務快速調試。