使用Spark用戶端 - MaxCompute

在當前頁面下載Spark用戶端後，即可通過 spark-submit 命令提交作業。支援的Spark版本列表如下，推薦選用Spark 3及以上版本。

Spark-submit

Spark 的 bin 目錄中的 spark-submit 指令碼用於在叢集上啟動應用程式。它可以通過統一的介面使用 Spark 支援的所有叢集管理器，因此無需為每個叢集管理器專門配置應用程式。詳情參考Spark官網。

發布版本	下載	說明
Spark3.5.2	Spark-3.5.2-odps0.49.0	支援並發讀向量化讀寫表全類型支援支援讀寫三層模型Project K8s調度支援 Shuffle Service支援
Spark3.4.2	Spark-3.4.2-odps0.48.0	支援並發讀向量化讀寫表全類型支援支援讀寫三層模型Project K8s調度支援 Shuffle Service支援
Spark3.1.1	Spark-3.1.1-odps0.47.0	向量化讀寫表全類型支援支援讀寫三層模型Project 支援讀schema evolution表支援讀oss/ots外部表格支援動態資源伸縮
Spark2.4.5	Spark-2.4.5-odps0.47.0	向量化讀表全類型支援支援讀schema evolution表支援讀oss/ots外部表格支援動態資源伸縮
Spark2.3.0	Spark-2.3.0-odps0.47.0	向量化讀表全類型支援讀表效能提升 odps-sdk從0.30.12升級到0.35.9 支援StsAccount提交任務 local模式支援overwrite 去除fastjson依賴分區列類型支援分區列支援STRING、VARCHAR、CHAR、TINYINT、SMALLINT、INT、BIGINT資料類型