E-MapReduce:Configuração de job Spark SQL

Pré-requisitos

Certifique-se de ter criado um projeto. Para mais informações, consulte

project management

.

Procedimento

1. Acesse a página Projects no Data Platform.

   1. Faça login no console do E-MapReduce com sua conta Alibaba Cloud.

   2. Na barra de navegação superior, selecione a região e o grupo de recursos.

   3. Clique em aba Data Development.

2. Na linha do projeto que deseja editar, clique em Edit Job.

3. Crie um job Spark SQL.

   1. No lado esquerdo da página, clique em botão direito na pasta de destino e selecione Create Job.

   2. Na caixa de diálogo Create Job, insira o Job Name e a Description. Na lista suspensa Job Type, selecione Spark SQL.

      Nota

      Por padrão, a plataforma envia jobs Spark SQL no modo yarn-client.

      Esse tipo de job é enviado com o seguinte comando:

      spark-sql [options] [cli options] {SQL_CONTENT}                

      A tabela a seguir descreve os parâmetros.

      Parâmetro	Descrição
      options	Na aba Advanced Settings do painel Job Settings, clique em ícone na linha Environment Variable para adicionar a variável de ambiente SPARK_CLI_PARAMS. Exemplo: SPARK_CLI_PARAMS="--executor-memory 1g --executor-cores".
      cli options	Exemplos: -e <quoted-query-string> : executa a string de consulta SQL entre aspas. -f <filename>: executa as instruções SQL no arquivo especificado.
      SQL_CONTENT	Instruções SQL inseridas.

   3. Clique em OK.

4. Edite o conteúdo do job.

   1. No campo Content, insira as instruções Spark SQL.

      Exemplo:

      -- Example SQL statements.
      -- SQL statements cannot exceed 64 KB.
      show databases;
      show tables;
      -- The system automatically appends 'limit 2000' to SELECT statements.
      select * from test1;

   2. Clique em Save.