DataWorks:Lindorm Spark düğümü

JAR paketi yükleme

Örnek JAR paketini LindormDFS'e yükleyin ve depolama yolunu kopyalayın. Bu yol, daha sonra düğümü yapılandırmak için gereklidir.

1. Örnek JAR paketini hazırlayın.

   Örnek spark-examples_2.12-3.3.0.jar paketini bilgisayarınıza indirin.

2. JAR paketini LindormDFS'e yükleyin.

   1. Lindorm konsolu oturumunu açın. İlgili bölge için Instances listesinde oluşturduğunuz Lindorm örneğini bulun.

   2. Örneğin Name seçeneğine tıklayarak Instance Details sayfasını açın.

   3. Sol gezinme bölmesinde Compute Engines seçeneğine tıklayarak Compute Engines sayfasına gidin.

   4. Job Management sekmesinde Upload resources seçeneğine tıklayarak Upload resources sayfasını açın.

   5. Kesikli çizgi kutusuna tıklayın, indirdiğiniz JAR paketini bulun ve ardından Open seçeneğine tıklayın.

   6. JAR paketini yüklemek için Upload seçeneğine tıklayın.

3. Örnek JAR paketinin depolama yolunu kopyalayın.

   Job Management sekmesinde yüklediğiniz JAR paketini bulun. Paket, Upload Resource düğmesinin altında görüntülenir. LindormDFS'teki JAR paketinin depolama yolunu kopyalamak için dosya adının solundaki simgesine tıklayın.

Düğüm içeriğini yapılandırma

Lindorm Spark düğümünü aşağıdaki parametrelerle yapılandırın.

Python kaynağı yükleme

Örnek Python dosyasını LindormDFS'e yükleyin ve depolama yolunu kopyalayın. Bu yol, daha sonra düğümü yapılandırmak için gereklidir.

1. Bir Python dosyası oluşturun.

   Aşağıdaki Python betiğini yerel bir dosya olarak pi.py adıyla kaydedin.

   import sys
   from random import random
   from operator import add
   
   from pyspark.sql import SparkSession
   
   if __name__ == "__main__":
       """
           Usage: pi [partitions]
       """
       spark = SparkSession\
           .builder\
           .appName("PythonPi")\
           .getOrCreate()
   
       partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
       n = 100000 * partitions
   
       def f(_: int) -> float:
           x = random() * 2 - 1
           y = random() * 2 - 1
           return 1 if x ** 2 + y ** 2 <= 1 else 0
   
       count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
       print("Pi is roughly %f" % (4.0 * count / n))
   
       spark.stop()
   

2. Python dosyasını LindormDFS'e yükleyin.

   1. Lindorm konsolu oturumunu açın. İlgili bölge için Instances listesinde oluşturduğunuz Lindorm örneğini bulun.

   2. Örneğin Name seçeneğine tıklayarak Instance Details sayfasını açın.

   3. Sol gezinme bölmesinde Compute Engines seçeneğine tıklayarak Compute Engines sayfasına gidin.

   4. Job Management sekmesinde Upload resources düğmesine tıklayarak Upload resources sayfasını açın.

   5. Kesikli çizgi kutusuna tıklayın, oluşturduğunuz Python dosyasını bulun ve ardından Open seçeneğine tıklayın.

   6. Python dosyasını yüklemek için Upload seçeneğine tıklayın.

3. Örnek Python dosyasının depolama yolunu kopyalayın.

   Job Management sekmesinde yüklediğiniz Python dosyasını bulun. Dosya, Upload Resource düğmesinin altında görüntülenir. LindormDFS'teki Python dosyasının depolama yolunu kopyalamak için dosya adının solundaki simgesine tıklayın.

Düğüm içeriğini yapılandırma

Lindorm Spark düğümünü aşağıdaki parametrelerle yapılandırın.