E-MapReduce:Configuração de job Spark Shell

Pré-requisitos

Verifique se você já criou um projeto. Para mais informações, consulte

project management

.

Procedimento

1. Acesse a página Projects no Data Platform.

   1. Faça login no console do E-MapReduce com sua conta Alibaba Cloud.

   2. Na barra de navegação superior, selecione a região e o grupo de recursos.

   3. Clique na aba Data Development.

2. Na linha do projeto desejado, clique em Edite Job.

3. Crie um job Spark Shell.

   1. No painel à esquerda, clique com o botão direito na pasta de destino e selecione Create Job.

   2. Na caixa de diálogo Create Job, insira o job name e a job description e selecione Spark Shell na lista suspensa Job Type.

   3. Clique em OK.

4. Edite o conteúdo do job.

   1. No campo job content, insira o script Spark Shell.

      Este exemplo usa o método de Monte Carlo para estimar o valor de Pi.

      val count = sc.parallelize(1 to 100).filter { _ =>
        val x = math.random
        val y = math.random
        x*x + y*y < 1
      }.count();
      println("Pi is roughly ${4.0 * count / 100}")

   2. Clique em Save.