DataWorks：MaxCompute Spark節點

許可權限制

（可選，RAM帳號需要）進行任務開發的RAM帳號已被添加至對應工作空間中，並具有開發或空間管理員（許可權較大，謹慎添加）角色許可權，新增成員的操作詳情請參見為工作空間增加空間成員。

使用限制

當MaxCompute Spark節點選擇Spark3.x版本時，若提交節點報錯，請購買使用Serverless資源群組，詳情請參見使用Serverless資源群組。

準備工作

MaxCompute Spark節點支援使用Java/Scala和Python語言運行Spark on MaxCompute離線作業，不同語言開發步驟及配置介面存在差異，您可根據業務需要選擇使用。

配置項說明

DataWorks運行Spark on MaxCompute離線作業採用Cluster模式，在Cluster模式中，您需指定自訂程式入口main。main運行結束（即狀態為Success或Fail）時，對應的Spark作業便會結束。此外，spark-defaults.conf中的配置需逐條添加到MaxCompute Spark節點配置項中。例如，executor的數量、記憶體大小和spark.hadoop.odps.runtime.end.point的配置。

操作步驟

1. 建立資源。

   1. 找到資料開發頁面左側導覽列的資源管理，單擊建立，選擇建立MaxCompute Spark類型的Python資源，並命名為spark_is_number.py，詳情請參見資源管理。代碼如下：

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
      
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
      
          return False
      
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. 儲存資源。

2. 在已建立的MaxCompute Spark節點中，配置節點參數和調度配置參數，詳情請參見配置項說明。

3. 如需定期執行節點任務，請根據業務需求配置調度資訊，詳情請參見節點調度配置。

4. 節點任務配置完成後，需對節點進行發布，詳情請參見節點/工作流程發布。

5. 任務發布後，您可以在營運中心查看周期任務的運行情況。詳情請參見營運中心入門。

   說明

   • 由於資料開發中的MaxCompute Spark節點沒有運行入口，因此您需要在開發環境的營運中心執行Spark任務。

   • 待補資料執行個體運行成功後，進入其作業記錄的tracking URL中查看運行結果

相關文檔

• 更多情境的Spark on MaxCompute任務開發，請參考：

  • java/scala樣本：Spark-1.x樣本

  • java/scala樣本：Spark-2.x樣本

  • Python樣本：PySpark開發樣本

  • 情境：Spark訪問VPC執行個體

  • 情境：Spark訪問OSS

• Spark常見問題：您可瞭解Spark執行過程中的常見問題，便於出現異常時快速排查解決。詳情可參見Spark常見問題。

• Spark作用診斷：MaxCompute為Spark作業提供Logview工具以及Spark WebUI，您可通過作業日誌檢查作業是否已正常提交並執行。詳情可參見Spark作業診斷。