：Spark常見問題

如何自檢專案工程？

在DataWorks上運行ODPS Spark節點的步驟是什嗎？

1. 在本地Python環境中編輯Spark代碼並打包。本地Python環境版本要求為Python 2.7。

2. 上傳資源套件至DataWorks。詳情請參見建立並使用MaxCompute資源。

3. 在DataWorks上建立ODPS Spark節點。詳情請參見建立ODPS Spark節點。

4. 編寫代碼並運行節點，在DataWorks控制台上即可查看運行結果。

Spark on MaxCompute如何在本地進行調試？

您可以通過IntelliJ IDEA在本地進行調試。詳情請參見搭建Linux開發環境。

如何通過Spark訪問VPC環境內的服務？

通過Spark訪問VPC環境內的服務資訊，請參見Spark訪問VPC執行個體。

如何把JAR包當成資源來引用？

spark.hadoop.odps.cupid.resources = projectname.xx0.jar,projectname.xx1.jar 

如何通過Spark傳入參數？

傳參詳情請參見Spark on DataWorks。

如何將Spark流式讀取的DataHub資料寫入MaxCompute？

範例程式碼請參見DataHub。

如何將開源Spark代碼遷移至Spark on MaxCompute？

如何通過Spark處理MaxCompute中的表資料？

Spark on MaxCompute支援Local、Cluster和DataWorks運行模式。三種模式的配置不同，詳情請參見運行模式。

如何設定Spark資源並行度？

如何解決記憶體不足問題？

• 常見報錯：

  • java.lang.OutOfMemoryError: Java heap space。

  • java.lang.OutOfMemoryError: GC overhead limit exceeded。

  • Cannot allocate memory。

  • The job has been killed by "OOM Killer", please check your job's memory usage。

• 解決方案：

  • 設定Executor記憶體。

    • 參數：spark.executor.memory。

    • 參數說明：代表每個Executor的記憶體。通常與spark.executor.cores保持1:4設定即可，例如設定spark.executor.cores為1，spark.executor.memory為4 GB。當Executor拋出java.lang.OutOfMemoryError異常時，需要調大該值。

  • 設定Executor堆外記憶體。

    • 參數：spark.executor.memoryOverhead。

    • 參數說明：代表每個Executor的額外記憶體，主要用於JVM自身、字串、NIO Buffer等開銷。預設大小為spark.executor.memory * 0.1，最小384 MB。通常不需要額外設定，當Executor日誌出現Cannot allocate memory或OOM Killer報錯時，需要調大該值。

  • 設定Driver記憶體。

    • 參數：spark.driver.memory。

    • 參數說明：代表Driver的記憶體大小。通常與spark.driver.cores保持1:4設定即可。當Driver需要Collect較巨量資料量，或拋出java.lang.OutOfMemoryError異常時，需要調大該值。

  • 設定Driver堆外記憶體。

    • 參數：spark.driver.memoryOverhead。

    • 參數說明：代表Driver的額外記憶體。預設為大小spark.driver.memory * 0.1，最小384 MB。當Driver日誌出現Cannot allocate memory報錯，需要調大該值。

如何解決磁碟不足問題？

• 問題現象

  出現報錯：No space left on device。

• 問題原因：該錯誤意味著本地磁碟不足，通常該報錯會在Executor中出現，並導致Executor退出。

• 解決方案：

  • 增加磁碟大小

    • 參數：spark.hadoop.odps.cupid.disk.driver.device_size。

    • 預設值：20 GB。

    • 參數說明：預設Driver和Executor各提供20GB的本地磁碟，當磁碟空間不足時可以適當調大該參數。注意該參數必須要配置在spark-defaults.conf或DataWorks的配置項中才會生效。

  • 增加Executor數量

    如果您調整本地磁碟大小到100GB以後，仍然報該錯誤，說明單個Executor Shuffle資料已經超過上限，可能是遇到了資料扭曲，這種情況下需要對資料重分區。也可能確實是資料量太大，那就需要調整spark.executor.instances參數，增加Executor的數量。

如何引用MaxCompute Project中的資源？

如何訪問VPC？

如何訪問公網?

如何訪問OSS？

如何引用Python三方庫？

• 問題現象：PySpark作業運行時拋出No module named 'xxx'異常。

• 問題原因：PySpark作業依賴Python第三方庫，在當前MaxCompute平台預設的Python環境中尚未安裝。

• 解決方案：您可以採用以下幾種方案添加第三方庫依賴。

  • 直接使用MaxCompute Python公用環境。

    您只需要在DataWorks配置項或spark-defaults.conf檔案中添加以下配置即可，不同Python版本配置如下：

    • Python 2配置

      ## Python 2.7.13 配置
      ## 以下配置必須在DataWorks配置項/spark-defaults.conf檔案中添加
      spark.hadoop.odps.cupid.resources = public.python-2.7.13-ucs4.tar.gz
      spark.pyspark.python = ./public.python-2.7.13-ucs4.tar.gz/python-2.7.13-ucs4/bin/python
      
      ## 三方庫列表
      https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py27/py27-default_req.txt

    • Python 3配置

      ## Python 3.7.9 配置
      ## 以下配置必須在DataWorks配置項/spark-defaults.conf檔案中添加
      spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
      spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3
      
      ## 三方庫列表
      https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py37/py37-default_req.txt

  • 上傳單個WHEEL包。

    該方案適用於Python三方依賴數量較少、較為簡單的情況，命令樣本如下。

    ##需要將wheel包重新命名為zip包，例如將pymysql的wheel包重新命名為pymysql.zip
    ##將重新命名後的zip包上傳（檔案類型為archive）
    ##在Dataworks spark節點引用該zip包（archive類型）
    ##在spark-defaults.conf或dataworks配置項中添加以下配置後即可import
    ## 配置
    spark.executorEnv.PYTHONPATH=pymysql
    spark.yarn.appMasterEnv.PYTHONPATH=pymysql
    
    ## 上傳代碼
    import pymysql

  • 上傳完整自訂Python環境。

    適用於依賴較為複雜或需要自訂Python版本的情況。您需利用Docker容器打包並上傳完整Python環境，詳情請參見Package依賴。

如何解決Jar依賴衝突問題？

• 問題現象：運行時拋出NoClassDefFoundError或NoSuchMethodError異常。

• 問題原因：通常是由於Jar包中的第三方依賴與Spark依賴版本衝突，需要檢查上傳的主Jar包及第三方依賴庫，排除衝突的依賴。

• 解決方案：

  • Pom自檢。

    • 將Spark社區版依賴設定為Provided。

    • 將Hadoop社區版依賴設定為Provided。

    • 將Odps/Cupid依賴設定為Provided。

  • 排除衝突的依賴。

  • 使用maven-shade-plugin relocation解決包衝突。

如何使用Local模式進行調試？

• Spark 2.3.0

  1. 在spark-defaults.conf中添加以下配置。

     spark.hadoop.odps.project.name =<Yourprojectname>
     spark.hadoop.odps.access.id =<YourAccessKeyID>
     spark.hadoop.odps.access.key =<YourAccessKeySecret>
     spark.hadoop.odps.end.point =<endpoint>

  2. 使用Local模式運行任務。

     ./bin/spark-submit --master local spark_sql.py

• Spark 2.4.5/Spark 3.1.1

  1. 建立odps.conf檔案，並在檔案中添加以下配置。

     odps.access.id=<YourAccessKeyID>
     odps.access.key=<YourAccessKeySecret>
     odps.end.point=<endpoint>
     odps.project.name=<Yourprojectname>

  2. 添加環境變數指向odps.conf檔案位置。

     export ODPS_CONF_FILE=/path/to/odps.conf

  3. 使用Local模式運行任務。

     ./bin/spark-submit --master local spark_sql.py

• 常見報錯

  • 報錯1：

    • 報錯資訊：

      • Incomplete config, no accessId or accessKey。

      • Incomplete config, no odps.service.endpoint。

    • 報錯原因：在Local模式開啟了EventLog。

    • 解決方案：將spark-defaults.conf中的spark.eventLog.enabled=true參數刪除即可。

  • 報錯2：

    • 報錯資訊：Cannot create CupidSession with empty CupidConf。

    • 報錯原因：Spark 2.4.5或Spark 3.1.1 無法讀取odps.access.id等資訊。

    • 解決方案：建立odps.conf檔案，並添加環境變數後再運行任務

  • 報錯3：

    • 報錯資訊：java.util.NoSuchElementException: odps.access.id。

    • 報錯原因：Spark 2.3.0 無法讀取odps.access.id等資訊。

    • 解決方案：在spark-defaults.conf中添加spark.hadoop.odps.access.id等配置資訊。

運行Spark作業時，報錯User signature does not match，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  Stack:
  com.aliyun.odps.OdpsException: ODPS-0410042:
  Invalid signature value - User signature does not match

• 產生原因

  身分識別驗證未通過，AccessKey ID或AccessKey Secret有誤。

• 解決措施

  請檢查spark-defaults.conf提供的AccessKey ID、AccessKey Secret和阿里雲官網控制台使用者資訊管理中的AccessKey ID、AccessKey Secret是否一致，如果不一致，請修改一致。

運行Spark作業時，報錯You have NO privilege，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  Stack:
  com.aliyun.odps.OdpsException: ODPS-0420095: 
  Access Denied - Authorization Failed [4019], You have NO privilege 'odps:CreateResource' on {acs:odps:*:projects/*}

• 產生原因

  許可權不足，需要申請許可權。

• 解決措施

  需要由專案所有者授予Resource的Read和Create許可權。更多授權資訊，請參見MaxCompute許可權。

運行Spark作業時，報錯Access Denied，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  Exception in thread "main" org.apache.hadoop.yarn.exceptions.YarnException: com.aliyun.odps.OdpsException: ODPS-0420095: Access Denied - The task is not in release range: CUPID

• 產生原因

  • 原因一：Spark-defaults.conf中配置的AccessKey ID、AccessKey Secret不正確。

  • 原因二：專案所在的地區未提供Spark on MaxCompute服務。

• 解決措施

  • 原因一的解決措施：檢查Spark-defaults.conf配置資訊，修改為正確的AccessKey ID、AccessKey Secret。更多資訊，請參見搭建Linux開發環境。

  • 原因二的解決措施：確認專案所在的地區是否已經提供了Spark on MaxCompute服務或加入DingTalk群21969532（Spark on MaxCompute支援群）諮詢。

運行Spark作業時，報錯No space left on device，如何解決？

Spark使用網盤進行本機存放區。Shuffle資料和BlockManager溢出的資料均儲存在網盤上。網盤的大小通過spark.hadoop.odps.cupid.disk.driver.device_size參數控制，預設為20 GB，最大為100 GB。如果調整到100 GB仍然報此錯誤，需要分析具體原因。常見原因為資料扭曲，在Shuffle或者Cache過程中資料集中分布在某些Block。此時可以縮小單個Executor的核心數（spark.executor.cores），增加Executor的數量（spark.executor.instances）。

運行Spark作業時，報錯Table or view not found，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  Table or view not found:xxx

• 產生原因

  • 原因一：表或視圖不存在。

  • 原因二：開啟了Hive的catalog配置。

• 解決措施

  • 原因一的解決措施：請建立表。

  • 原因二的解決措施：去掉catalog配置。報錯樣本如下，需要去掉enableHiveSupport()。

    spark = SparkSession.builder.appName(app_name).enableHiveSupport().getOrCreate()

運行Spark作業時，報錯Shutdown hook called before final status was reported，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  App Status: SUCCEEDED, diagnostics: Shutdown hook called before final status was reported.

• 產生原因

  提交到叢集的user main沒有通過AM（ApplicationMaster）申請叢集資源。例如，使用者沒有建立SparkContext或使用者在代碼中設定spark.master為local。

運行Spark作業時，發生JAR包版本衝突類錯誤，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  User class threw exception: java.lang.NoSuchMethodError

• 產生原因

  JAR包版本衝突或類錯誤。

• 解決措施

  1. 在$SPARK_HOME/jars路徑下找出異常類所在的JAR，並執行如下命令定位第三方庫的座標以及版本。

     grep <異常類類名> $SPARK_HOME/jars/*.jar

  2. 在Spark作業根目錄下，執行如下命令查看整個工程的所有依賴。

     mvn dependency:tree

  3. 找到對應的依賴後，執行如下命令排除衝突包。

     maven dependency exclusions

  4. 重新編譯並提交代碼。

運行Spark作業時，報錯ClassNotFound，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  java.lang.ClassNotFoundException: xxxx.xxx.xxxxx

• 產生原因

  類不存在或依賴配置錯誤。

• 解決措施

  1. 執行如下命令查看您提交的JAR包中是否存在該類定義。

     jar -tf <作業JAR包> | grep <類名稱>

  2. 檢查pom.xml檔案中的依賴是否正確。

  3. 使用Shade方式提交JAR包。

運行Spark作業時，報錯The task is not in release range，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  The task is not in release range: CUPID

• 產生原因

  專案所在地區未開通Spark on MaxCompute服務。

• 解決措施

  請您選擇已經開啟Spark on MaxCompute服務的地區使用。

運行Spark作業時，報錯java.io.UTFDataFormatException，如何解決？

• 問題現象

  運行Spark作業時，返回報錯如下。

  java.io.UTFDataFormatException: encoded string too long: 2818545 bytes 

• 解決措施

  調整spark-defaults.conf中spark.hadoop.odps.cupid.disk.driver.device_size參數的值。預設為20 GB，最大支援100 GB。

運行Spark作業時，列印的中文亂碼，如何解決？

"--conf" "spark.executor.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"
"--conf" "spark.driver.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"

Spark調用外網第三方任務時報錯，如何解決？

Spark不能直接調用外網第三方任務，網路不通。

您可以在VPC中搭建Nginx反向 Proxy，通過代理訪問外網。Spark支援直接存取VPC，詳情請參見Spark訪問VPC執行個體。