E-MapReduce:Configuración de un trabajo de Spark Shell

Requisitos previos

Asegúrese de haber creado un proyecto. Para obtener más información, consulte

project management

.

Procedimiento

1. Vaya a la página Projects de Data Platform.

   1. Inicie sesión en la E-MapReduce console con su cuenta de Alibaba Cloud.

   2. En la barra de navegación superior, seleccione la región y el resource group.

   3. Haga clic en la pestaña Data Development.

2. En la fila del proyecto que desee editar, haga clic en Edit Job.

3. Cree un trabajo de Spark Shell.

   1. En la parte izquierda de la página, haga clic con el botón derecho en la carpeta de destino y seleccione Create Job.

   2. En el cuadro de diálogo Create Job, introduzca un job name y una job description, y seleccione Spark Shell en la lista desplegable Job Type.

   3. Haga clic en OK.

4. Edite el contenido del trabajo.

   1. En el campo job content, introduzca el script de Spark Shell.

      Este ejemplo utiliza el método de Montecarlo para estimar el valor de Pi.

      val count = sc.parallelize(1 to 100).filter { _ =>
        val x = math.random
        val y = math.random
        x*x + y*y < 1
      }.count();
      println("Pi is roughly ${4.0 * count / 100}")

   2. Haga clic en Save.