DataWorks:Lindorm Spark node

Unggah paket JAR

Unggah paket JAR contoh ke LindormDFS dan salin jalur penyimpanannya. Jalur ini diperlukan nanti untuk mengonfigurasi node.

1. Siapkan paket JAR contoh.

   Unduh paket contoh spark-examples_2.12-3.3.0.jar ke komputer Anda.

2. Unggah paket JAR ke LindormDFS.

   1. Masuk ke Konsol Lindorm. Di daftar Instances untuk wilayah yang sesuai, temukan instans Lindorm yang telah Anda buat.

   2. Klik instans Name untuk membuka halaman Instance Details.

   3. Di bilah navigasi kiri, klik Compute Engines untuk membuka halaman Compute Engines.

   4. Di tab Job Management, klik tombol Upload resources untuk membuka halaman Upload resources.

   5. Klik kotak bergaris putus-putus, temukan paket JAR yang telah Anda unduh, lalu klik Open.

   6. Klik Upload untuk mengunggah paket JAR.

3. Salin jalur penyimpanan paket JAR contoh.

   Di tab Job Management, temukan paket JAR yang telah Anda unggah. Paket tersebut muncul di bawah tombol Upload Resource. Klik ikon di sebelah kiri nama file untuk menyalin jalur penyimpanan paket JAR di LindormDFS.

Konfigurasikan konten node

Konfigurasikan node Lindorm Spark dengan parameter berikut.

Unggah resource Python

Unggah file Python contoh ke LindormDFS dan salin jalur penyimpanannya. Jalur ini diperlukan nanti untuk mengonfigurasi node.

1. Buat file Python.

   Simpan skrip Python berikut sebagai file lokal bernama pi.py.

   import sys
   from random import random
   from operator import add
   
   from pyspark.sql import SparkSession
   
   if __name__ == "__main__":
       """
           Usage: pi [partitions]
       """
       spark = SparkSession\
           .builder\
           .appName("PythonPi")\
           .getOrCreate()
   
       partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
       n = 100000 * partitions
   
       def f(_: int) -> float:
           x = random() * 2 - 1
           y = random() * 2 - 1
           return 1 if x ** 2 + y ** 2 <= 1 else 0
   
       count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
       print("Pi is roughly %f" % (4.0 * count / n))
   
       spark.stop()
   

2. Unggah file Python ke LindormDFS.

   1. Masuk ke Konsol Lindorm. Di daftar Instances untuk wilayah yang sesuai, temukan instans Lindorm yang telah Anda buat.

   2. Klik Name instans untuk membuka halaman Instance Details.

   3. Di bilah navigasi kiri, klik Compute Engines untuk membuka halaman Compute Engines.

   4. Di tab Job Management, klik tombol Upload resources untuk membuka halaman Upload resources.

   5. Klik kotak bergaris putus-putus, temukan file Python yang telah Anda buat, lalu klik Open.

   6. Klik Upload untuk mengunggah file Python.

3. Salin jalur penyimpanan file Python contoh.

   Di tab Job Management, temukan file Python yang telah Anda unggah. File tersebut muncul di bawah tombol Upload Resource. Klik ikon di sebelah kiri nama file untuk menyalin jalur penyimpanan file Python di LindormDFS.

Konfigurasikan konten node

Konfigurasikan node Lindorm Spark dengan parameter berikut.