E-MapReduce:Configuración de un trabajo de Spark SQL

Requisitos previos

Asegúrese de haber creado un proyecto. Para obtener más información, consulte

project management

.

Procedimiento

1. Vaya a la página Projects en Data Platform.

   1. Inicie sesión en la consola de E-MapReduce con su cuenta de Alibaba Cloud.

   2. En la barra de navegación superior, seleccione la región y el resource group.

   3. Haga clic en la pestaña Data Development.

2. En la fila del proyecto que desea editar, haga clic en Edit Job.

3. Cree un trabajo de Spark SQL.

   1. En el lado izquierdo de la página, haga clic con el botón derecho en la carpeta de destino y seleccione Create Job.

   2. En el cuadro de diálogo Create Job, introduzca un valor en Job Name y en Description. En la lista desplegable Job Type, seleccione Spark SQL.

      Nota

      De forma predeterminada, la plataforma envía los trabajos de Spark SQL en modo yarn-client.

      La plataforma envía este tipo de trabajo con el siguiente comando:

      spark-sql [options] [cli options] {SQL_CONTENT}                

      A continuación se describen los parámetros.

      Parámetro	Descripción
      options	En la pestaña Advanced Settings del panel Job Settings, haga clic en el icono de la fila Environment Variable para agregar la variable de entorno SPARK_CLI_PARAMS. Ejemplo: SPARK_CLI_PARAMS="--executor-memory 1g --executor-cores".
      cli options	Ejemplos: -e <quoted-query-string> : ejecuta la cadena de consulta SQL entre comillas. -f <filename>: ejecuta las instrucciones SQL del archivo especificado.
      SQL_CONTENT	Las instrucciones SQL que usted introduce.

   3. Haga clic en OK.

4. Edite el contenido del trabajo.

   1. En el campo Content, introduzca las instrucciones de Spark SQL.

      Ejemplo:

      -- Example SQL statements.
      -- SQL statements cannot exceed 64 KB.
      show databases;
      show tables;
      -- The system automatically appends 'limit 2000' to SELECT statements.
      select * from test1;

   2. Haga clic en Save.