：Spark應用配置指南

離線應用

應用程式套件含Batch、Streaming和SQL，其中Batch為離線應用，任務執行時需要入口類所在的JAR包或Python檔案。根據業務的不同，可能還需要提供入口類參數、執行依賴的JAR包、Python執行環境沙箱等。

雲原生資料倉儲AnalyticDB MySQL版Spark離線應用的編寫方法與社區Spark-Submit工具的命令列參數類似。

離線應用配置樣本

 {
  "args": ["oss://${testBucketName}/data/test/test.csv"],
  "name": "spark-oss-test",
  "file": "oss://${testBucketName/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
  "className": "com.aliyun.spark.oss.SparkReadOss",
  "conf": {
    "spark.driver.resourceSpec": "medium",
    "spark.executor.resourceSpec": "medium",
    "spark.executor.instances": 2,
    "spark.adb.connectors": "oss"
  }
}

SQL應用

AnalyticDB MySQL版Spark支援在控制台直接提交Spark SQL。無需使用者打包JAR包或者寫Python代碼，更利於資料開發人員使用Spark進行資料分析。提交Spark SQL時需要指定應用類型為SQL。

SQL應用配置樣本

-- Here is just an example of SparkSQL. Modify the content and run your spark program.

conf spark.driver.resourceSpec=medium;
conf spark.executor.instances=2;
conf spark.executor.resourceSpec=medium;
conf spark.app.name=Spark SQL Test;
conf spark.adb.connectors=oss;

-- Here are your sql statements
show databases;

Spark SQL支援的命令類型

Spark編輯器支援編輯SQL語句，每條SQL語句以英文分號（;）分隔。

切換中繼資料服務

conf配置參數說明

AnalyticDB MySQL版Spark配置項跟社區Spark中的配置項基本一致。本章節介紹AnalyticDB MySQL與社區Spark用法不一致的配置參數及AnalyticDB MySQL特有的配置參數。

• 指定Driver和Executor資源
  重要 此用法與社區Spark不同。
  spark.driver.resourceSpec與spark.executor.resourceSpec參數取值相同。

  參數名稱	使用說明	對應社區Spark參數
  spark.driver.resourceSpec	Spark driver的資源規格。不同型號的取值對應不同的規格，詳情請參見Spark資源規格列表的型號列。 例如CONF spark.driver.resourceSpec = c.small;，則Spark driver的資源規格為1核2 GB。	spark.driver.cores及spark.driver.memory
  spark.executor.resourceSpec	Spark executor的資源規格。不同型號的取值對應不同的規格，詳情請參見Spark資源規格列表的型號列。 例如CONF spark.executor.resourceSpec = c.small;，則Spark executor的資源規格為1核2 GB。	spark.executor.cores及spark.executor.memory

• Spark UI

  參數名稱	預設值	參數說明
  spark.app.log.rootPath	無	儲存AnalyticDB MySQL版Spark應用執行時產生的日誌以及SparkUI EventLog的目錄。目前只支援使用者手動填寫用於儲存日誌的OSS路徑。如果不填寫，則無法在應用結束後看到日誌，也無法在應用結束後開啟Spark UI。

• RAM使用者營運Spark

  參數名稱	預設值	參數說明
  spark.adb.roleArn	無	在RAM系統中授予提交Spark應用的RAM使用者的Role Arn，詳情請參見RAM角色概覽。RAM使用者提交應用需要填寫該參數，阿里雲帳號無需提交該參數。

• AnalyticDB MySQL版Spark內建資料來源連接器

  參數名稱	預設值	參數說明
  spark.adb.connectors	無	啟用AnalyticDB MySQL版Spark內建的連接器，連接器名稱以逗號分隔，目前可選的連接器有OSS、hbase1.x、tablestore。
  spark.hadoop.io.compression.codec.snappy.native	false	標識Snappy檔案是否為標準Snappy檔案。Hadoop預設識別的是Hadoop修改過的Snappy格式檔案。設定為true時將使用標準Snappy庫解壓，否則使用hadoop預設的Snappy庫解壓。

• 訪問VPC和串連資料來源

  參數名稱	預設值	參數說明
  spark.adb.eni.vswitchId	無	開啟VPC功能，配置彈性網卡的交換器ID。如果使用者有ECS可以訪問目標資料來源，那麼可以直接使用該ECS的交換器ID。
  spark.adb.eni.securityGroupId	無	開啟VPC功能，用於彈性網卡的安全性群組ID。如果使用者有ECS可以訪問目標資料來源，那麼可以直接使用該ECS的安全性群組ID。
  spark.adb.eni.extraHosts	無	需要額外傳入的IP和Host的映射關係，以便Spark能正確解析資料來源中的Host。如串連自建的Hive資料來源，則需要傳入此參數。 說明 IP和Host之間用空格分隔。多個IP和網域名稱用英文逗號（,）分隔，如"ip0 master0, ip1 master1"。

• Spark SQL串連AnalyticDB MySQL中繼資料

  參數名稱	預設值	參數說明
  spark.sql.hive.metastore.version	無	指定Hive MetaStore的版本。配置為ADB時，可以串連AnalyticDB MySQL中的中繼資料資訊，讀取AnalyticDB MySQL的表資訊。

• 應用重試

  參數名稱	預設值	參數說明
  spark.adb.maxAttempts	1	最大嘗試次數，預設值為1，代表不需要重試。 假設配置為3，則這個應用在一個滑動視窗期時間內最多嘗試3次。
  spark.adb.attemptFailuresValidityInterval	Long.MAX	重試計數的滑動視窗時間，單位：毫秒（ms）。 假設配置為6000，那麼當一次重試失敗後，系統會計算過去6000ms總共進行了多少次重試，如果重試次數少於maxAttempts的配置值，則會繼續重試。

• 源配置

  參數名稱	預設值	參數說明
  spark.adb.driver.cpu-vcores-ratio	1	Driver虛擬Core與實際CPU Core之間的比例。假設Driver是Medium規格（2Core8 GB），本參數值設定為2，那麼Driver進程可以按照4個Core進行並發控制，相當於spark.driver.cores=4。
  spark.adb.executor.cpu-vcores-ratio	1	Executor虛擬Core與實際CPU Core之間的比例。當單個Task的CPU使用率比較低時，可以通過該配置，提升CPU利用效率。假設Executor是Medium規格（2Core8 GB），本參數值設定為2，那麼Executor進程可以按照4個Core進行並發控制，也就是同時調度4個並發任務，相當於spark.executor.cores=4。

Spark資源規格列表