DataWorks:Lindorm Spark ノード

JAR リソースのアップロード

サンプル JAR ファイルを Lindorm 分散ファイルシステム (LindormDFS) にアップロードし、そのストレージパスをコピーします。このパスは、後でノード設定でファイルを参照するために使用します。

1. サンプル JAR ファイルを準備します。

   spark-examples_2.12-3.3.0.jar パッケージをローカルマシンにダウンロードします。

2. JAR ファイルを LindormDFS にアップロードします。

   1. Lindorm コンソールにログオンし、対応するリージョンの [インスタンスリスト] ページで、作成した Lindorm インスタンスを見つけます。

   2. インスタンスの [名前] をクリックして、[インスタンスの詳細] ページに移動します。

   3. 左側のナビゲーションウィンドウで、[コンピュートエンジン] をクリックして、[コンピュートエンジン] ページに移動します。

   4. [ジョブ管理] タブで [リソースのアップロード] をクリックし、[リソースのアップロード] ページに移動します。

   5. 破線のボックスをクリックし、ダウンロードした JAR ファイルを見つけ、[開く] をクリックします。

   6. [アップロード] をクリックして、JAR ファイルをアップロードします。

3. サンプル JAR リソースのストレージパスをコピーします。

   ［ジョブ管理］タブで、［リソースのアップロード］ボタンの下にアップロードした JAR ファイルを見つけます。リソースファイルの左側にある アイコンをクリックして、LindormDFS 内のストレージパスをコピーします。

ノードの設定

以下のパラメーターの説明に基づいて、Lindorm Spark ノードを設定します。

Python リソースのアップロード

サンプルの Python リソースファイルを LindormDFS にアップロードし、そのストレージパスをコピーします。このパスは、後でノード設定でファイルを参照するために使用します。

1. Python リソースファイルを作成します。

   次の Python スクリプトを pi.py という名前のローカルファイルとして保存します。

   import sys
   from random import random
   from operator import add
   
   from pyspark.sql import SparkSession
   
   if __name__ == "__main__":
       """
           Usage: pi [partitions]  # 使用方法: pi [パーティション]
       """
       spark = SparkSession\
           .builder\
           .appName("PythonPi")\
           .getOrCreate()
   
       partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
       n = 100000 * partitions
   
       def f(_: int) -> float:
           x = random() * 2 - 1
           y = random() * 2 - 1
           return 1 if x ** 2 + y ** 2 <= 1 else 0
   
       count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
       print("Pi is roughly %f" % (4.0 * count / n)) # Pi のおおよその値は %f です
   
       spark.stop()
   

2. Python リソースファイルを LindormDFS にアップロードします。

   1. Lindorm コンソールにログインします。Lindorm コンソール に対応するリージョンの [インスタンス一覧] ページで、作成した Lindorm インスタンスを見つけます。

   2. インスタンスの[名前]をクリックして、[インスタンスの詳細]ページに移動します。

   3. 左側のナビゲーションウィンドウで、[コンピュートエンジン] をクリックして [コンピュートエンジン] ページに移動します。

   4. [ジョブ管理] タブで、[リソースのアップロード] をクリックし、[リソースのアップロード] ページに移動します。

   5. 点線のボックスをクリックし、作成した Python リソースファイルを見つけ、[開く] をクリックします。

   6. Python リソースファイルをアップロードするには、[アップロード] をクリックします。

3. サンプル Python リソースファイルのストレージパスをコピーします。

   「ジョブ管理」タブで、「リソースのアップロード」ボタンの下にアップロードした Python リソースファイルを見つけます。ファイルの左側にある アイコンをクリックして、LindormDFS 内のストレージパスをコピーします。

ノードの設定

以下のパラメーターの説明に基づいて、Lindorm Spark ノードを設定します。