DataWorks:Nodo Lindorm Spark

Cargar un paquete JAR

Cargue el paquete JAR de ejemplo en LindormDFS y copie su ruta de almacenamiento. Esta ruta es necesaria posteriormente para configurar el nodo.

1. Prepare el paquete JAR de ejemplo.

   Descargue el paquete spark-examples_2.12-3.3.0.jar de ejemplo a su computadora.

2. Cargue el paquete JAR en LindormDFS.

   1. Inicie sesión en la consola de Lindorm. En la lista Instances de la región correspondiente, busque la instancia de Lindorm que creó.

   2. Haga clic en el Name de la instancia para abrir la página Instance Details.

   3. En la barra de navegación izquierda, haga clic en Compute Engines para ir a la página Compute Engines.

   4. En la pestaña Job Management, haga clic en Upload resources para abrir la página Upload resources.

   5. Haga clic en el cuadro de línea punteada, busque el paquete JAR que descargó y luego haga clic en Open.

   6. Haga clic en Upload para cargar el paquete JAR.

3. Copie la ruta de almacenamiento del paquete JAR de ejemplo.

   En la pestaña Job Management, busque el paquete JAR que cargó. Aparece debajo del botón Upload Resource. Haga clic en el icono a la izquierda del nombre del archivo para copiar la ruta de almacenamiento del paquete JAR en LindormDFS.

Configurar el contenido del nodo

Configure el nodo Lindorm Spark con los siguientes parámetros.

Cargar un recurso de Python

Cargue el archivo de Python de ejemplo en LindormDFS y copie su ruta de almacenamiento. Esta ruta es necesaria posteriormente para configurar el nodo.

1. Cree un archivo de Python.

   Guarde el siguiente script de Python como un archivo local llamado pi.py.

   import sys
   from random import random
   from operator import add
   
   from pyspark.sql import SparkSession
   
   if __name__ == "__main__":
       """
           Usage: pi [partitions]
       """
       spark = SparkSession\
           .builder\
           .appName("PythonPi")\
           .getOrCreate()
   
       partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
       n = 100000 * partitions
   
       def f(_: int) -> float:
           x = random() * 2 - 1
           y = random() * 2 - 1
           return 1 if x ** 2 + y ** 2 <= 1 else 0
   
       count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
       print("Pi is roughly %f" % (4.0 * count / n))
   
       spark.stop()
   

2. Cargue el archivo de Python en LindormDFS.

   1. Inicie sesión en la consola de Lindorm. En la lista Instances de la región correspondiente, busque la instancia de Lindorm que creó.

   2. Haga clic en el Name de la instancia para abrir la página Instance Details.

   3. En la barra de navegación izquierda, haga clic en Compute Engines para ir a la página Compute Engines.

   4. En la pestaña Job Management, haga clic en el botón Upload resources para abrir la página Upload resources.

   5. Haga clic en el cuadro de línea punteada, busque el archivo de Python que creó y luego haga clic en Open.

   6. Haga clic en Upload para cargar el archivo de Python.

3. Copie la ruta de almacenamiento del archivo de Python de ejemplo.

   En la pestaña Job Management, busque el archivo de Python que cargó. Aparece debajo del botón Upload Resource. Haga clic en el icono a la izquierda del nombre del archivo para copiar la ruta de almacenamiento del archivo de Python en LindormDFS.

Configurar el contenido del nodo

Configure el nodo Lindorm Spark con los siguientes parámetros.