:Lindorm Spark ノード

JAR パッケージをアップロードする

ノード構成で JAR パッケージを実行できるように、サンプル JAR パッケージを LindormDFS にアップロードし、JAR パッケージのストレージの場所をコピーする必要があります。

1. サンプル JAR パッケージを準備します。

   サンプル JAR パッケージ spark-examples_2.12-3.3.0.jar をコンピューターにダウンロードします。

2. JAR パッケージを LindormDFS にアップロードします。

   1. Lindorm コンソール にログインします。 上部のナビゲーションバーで、目的のリージョンを選択します。 [インスタンス] ページで、作成した Lindorm インスタンスを見つけます。

   2. インスタンス ID/名前列のインスタンス名をクリックして、インスタンスの詳細ページに移動します。

   3. 左側のナビゲーションウィンドウで、[コンピューティングエンジン] をクリックします。

   4. コンピューティングエンジンページの [ジョブ管理] タブで、[リソースのアップロード] をクリックします。

   5. xxx ページで、アップロード用の破線のボックスエリアをクリックし、ダウンロードした JAR パッケージリソースを見つけて [開く] をクリックします。

   6. [アップロード] をクリックします。

3. サンプル JAR パッケージのストレージパスをコピーします。

   [ジョブ管理] タブで、リソースのアップロードの下にアップロードした JAR パッケージを見つけます。 パッケージの左側にある アイコンをクリックして、LindormDFS 内の JAR パッケージのストレージパスをコピーします。

Lindorm Spark ノードを構成する

次の表で説明されているパラメーターを構成して、Lindorm Spark ノードを構成できます。

Python リソースをアップロードする

ノード構成で JAR パッケージを実行できるように、サンプル Python リソースを LindormDFS にアップロードし、JAR パッケージのストレージの場所をコピーする必要があります。

1. Python リソースを作成します。

   次の Python スクリプトをローカルファイルとして保存し、pi.py という名前を付けます。

   import sys
   from random import random
   from operator import add
   
   from pyspark.sql import SparkSession
   
   if __name__ == "__main__":
       """
           Usage: pi [partitions]  # 使用方法: pi [パーティション]
       """
       spark = SparkSession\
           .builder\
           .appName("PythonPi")\
           .getOrCreate()
   
       partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
       n = 100000 * partitions
   
       def f(_: int) -> float:
           x = random() * 2 - 1
           y = random() * 2 - 1
           return 1 if x ** 2 + y ** 2 <= 1 else 0
   
       count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
       print("Pi is roughly %f" % (4.0 * count / n)) # Pi のおおよその値は %f です
   
       spark.stop()
   

2. Python リソースを LindormDFS にアップロードします。

   1. Lindorm コンソール にログインします。 上部のナビゲーションバーで、目的のリージョンを選択します。 [インスタンス] ページで、作成した Lindorm インスタンスを見つけます。

   2. インスタンス ID/名前列のインスタンス名をクリックして、インスタンスの詳細ページに移動します。

   3. 左側のナビゲーションウィンドウで、[コンピューティングエンジン] をクリックします。

   4. コンピューティングエンジンページの [ジョブ管理] タブで、[リソースのアップロード] をクリックします。

   5. 点線のボックスをクリックします。 表示されるダイアログボックスで、ダウンロードした Python リソースを選択し、[開く] をクリックします。

   6. [アップロード] をクリックします。

3. サンプル JAR パッケージのストレージパスをコピーします。

   [ジョブ管理] タブで、リソースのアップロードの下にアップロードした JAR パッケージを見つけます。 パッケージの左側にある アイコンをクリックして、LindormDFS 内の JAR パッケージのストレージパスをコピーします。

Lindorm Spark ノードを構成する

次の表で説明されているパラメーターを構成して、Lindorm Spark ノードを構成できます。