DataWorks：Lindorm Spark節點

上傳Jar資源

您需將樣本Jar包資源上傳至LindormDFS中，並複製Jar資源儲存路徑，以供後續在節點中配置引用。

1. 準備樣本Jar包資源。

   將該樣本Jar包資源spark-examples_2.12-3.3.0.jar下載到本地。

2. 上傳Jar包資源到LindormDFS。

   1. 登入Lindorm管理主控台，在對應地區的執行個體列表中，找到您所建立的Lindorm執行個體。

   2. 單擊該執行個體名稱，進入執行個體詳情頁。

   3. 在左側導覽列中，單擊計算引擎，進入計算引擎頁面。

   4. 在作業管理頁簽中單擊上傳資源按鈕，進入上傳資源頁面。

   5. 單擊上傳虛線框地區，找到並開啟您下載到本地的Jar包資源。

   6. 單擊上傳，完成Jar包資源的上傳。

3. 複製樣本Jar資源儲存路徑。

   在作業管理頁簽，找到上傳資源按鈕下方您所上傳的Jar包資源，單擊資源檔左側的表徵圖，即可複製您所上傳的Jar資源在LindormDFS的儲存路徑。

配置節點內容

您可參照以下參數配置資訊，配置Lindorm Spark節點內容。

上傳Python資源

您需將樣本Python資源檔上傳至LindormDFS中，並複製Jar資源儲存路徑，以供後續在節點中配置引用。

1. 建立Python資源檔。

   您可以將下面提供的Python指令碼儲存為本地檔案，並命名為 pi.py。

   import sys
   from random import random
   from operator import add
   
   from pyspark.sql import SparkSession
   
   if __name__ == "__main__":
       """
           Usage: pi [partitions]
       """
       spark = SparkSession\
           .builder\
           .appName("PythonPi")\
           .getOrCreate()
   
       partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
       n = 100000 * partitions
   
       def f(_: int) -> float:
           x = random() * 2 - 1
           y = random() * 2 - 1
           return 1 if x ** 2 + y ** 2 <= 1 else 0
   
       count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
       print("Pi is roughly %f" % (4.0 * count / n))
   
       spark.stop()
   

2. 上傳Python資源檔到LindormDFS。

   1. 登入Lindorm管理主控台，在對應地區的執行個體列表中，找到您所建立的Lindorm執行個體。

   2. 單擊該執行個體名稱，進入執行個體詳情頁。

   3. 在左側導覽列中，單擊計算引擎，進入計算引擎頁面。

   4. 在作業管理頁簽中單擊上傳資源按鈕，進入上傳資源頁面。

   5. 單擊上傳虛線框地區，找到並開啟您在本地建立的Python資源檔。

   6. 單擊上傳，完成Python資源檔的上傳。

3. 複製樣本Python資源檔儲存路徑。

   在作業管理頁簽，找到上傳資源按鈕下方您所上傳的Python資源檔，單擊資源檔左側的表徵圖，即可複製您所上傳的Python資源檔在LindormDFS的儲存路徑。

配置節點內容

您可參照以下參數配置資訊，配置Lindorm Spark節點內容。