Lindorm:Uso de DMS para gestionar trabajos

Requisitos previos

• DMS está activado.

• LDPS está activado para la instancia de Lindorm. Para obtener más información, consulte Activate the service.

• Se ha desarrollado un trabajo. Para obtener más información, consulte JAR job development practices o Python Job Development: A Practical Guide.

• El trabajo desarrollado se ha cargado en HDFS o Object Storage Service (OSS). Para obtener más información, consulte Upload files using the console.

Creación de un flujo de tareas de Lindorm Spark

1. Inicie sesión en la consola de DMS V5.0.

2. Vaya a la página Task Orchestration.

   • Modo simple:

     1. En la sección Scene Guide, haga clic en Data Transmission and Processing (DTS).

     2. Haga clic en Task Orchestration en la sección Data processing del lado derecho de la página.

   • Modo normal: En la barra de navegación superior, seleccione DTS > Data Development > Task Orchestration.

3. En la página Task Orchestration, haga clic en Create Task Flow.

4. En el cuadro de diálogo Create Task Flow, especifique Task Flow Name y Description, y haga clic en Confirm.

5. En la sección Task Type del lado izquierdo, arrastre nodos Lindorm Spark al lienzo y conecte un nodo con otro para definir las dependencias entre ellos.

6. Configure el nodo Lindorm Spark.

   1. Haga doble clic en el nodo Lindorm Spark, o bien seleccione el nodo Lindorm Spark y luego haga clic en el icono .

   2. En la página que aparece, configure los parámetros básicos y personalizados del trabajo que desea ejecutar.

      • En la sección Basic Configurations, configure los parámetros básicos. La siguiente tabla describe estos parámetros.

        Parámetro	Descripción
        Region	Seleccione la región donde se despliega su instancia de Lindorm.
        Lindorm Instance	Seleccione el ID de su instancia de Lindorm.
        Task Type	Seleccione un tipo de trabajo de Spark. Se admiten los siguientes tipos: JAR Python SQL

      • En la sección Job Configuration, configure los parámetros personalizados del trabajo que desea ejecutar. Las siguientes secciones describen las plantillas de configuración y los parámetros personalizados para los distintos tipos de trabajos de Spark.

        • La siguiente sección describe la plantilla de configuración y los parámetros personalizados de un trabajo JAR de Spark:

          {
            "mainResource" : "oss://path/to/your/file.jar",
            "mainClass" : "path.to.main.class",
            "args" : [ "arg1", "arg2" ],
            "configs" : {
              "spark.hadoop.fs.oss.endpoint" : "",
              "spark.hadoop.fs.oss.accessKeyId" : "",
              "spark.hadoop.fs.oss.accessKeySecret" : "",
              "spark.hadoop.fs.oss.impl" : "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem",
              "spark.sql.shuffle.partitions" : "20"
            }
          }

          Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
          mainResource	String	Sí	La ruta donde se almacena el paquete JAR en HDFS u OSS.	Ruta de HDFS donde se almacena el paquete JAR: hdfs:///path/spark-examples_2.12-3.1.1.jar Ruta de OSS donde se almacena el paquete JAR: oss://testBucketName/path/spark-examples_2.12-3.1.1.jar
          mainClass	String	Sí	La clase que sirve como punto de entrada para su programa en el trabajo JAR.	com.aliyun.ldspark.SparkPi
          args	Array	No	El parámetro que se pasa al parámetro mainClass.	["arg1", "arg2"]
          configs	Json	No	Los parámetros del sistema del trabajo de Spark. Si el trabajo se carga en OSS, debe configurar los siguientes parámetros en configs: spark.hadoop.fs.oss.endpoint: La ruta donde se almacena el trabajo de Spark en OSS. spark.hadoop.fs.oss.accessKeyId: El AccessKey ID utilizado para acceder a OSS. Puede obtener el AccessKey ID en la consola. Para obtener más información, consulte Obtain an AccessKey pair. spark.hadoop.fs.oss.accessKeySecret: El AccessKey secret utilizado para acceder a OSS. Puede obtener el AccessKey secret en la consola. Para obtener más información, consulte Obtain an AccessKey pair. spark.hadoop.fs.oss.impl: La clase utilizada para acceder a OSS. Establezca el valor en org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem.	{ "spark.sql.shuffle.partitions": "200"}

        • La siguiente sección describe la plantilla de configuración y los parámetros personalizados de un trabajo Python de Spark:

          {
            "mainResource" : "oss://path/to/your/file.py",
            "args" : [ "arg1", "arg2" ],
            "configs" : {
              "spark.hadoop.fs.oss.endpoint" : "",
              "spark.hadoop.fs.oss.accessKeyId" : "",
              "spark.hadoop.fs.oss.accessKeySecret" : "",
              "spark.hadoop.fs.oss.impl" : "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem",
              "spark.submit.pyFiles" : "oss://path/to/your/project_file.py,oss://path/to/your/project_module.zip",
              "spark.archives" : "oss://path/to/your/environment.tar.gz#environment",
              "spark.sql.shuffle.partitions" : "20"
            }
          }

          Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
          mainResource	String	Sí	La ruta donde se almacena el archivo Python en OSS o HDFS.	Ruta de OSS donde se almacena el archivo Python: oss://testBucketName/path/spark-examples.py Ruta de HDFS donde se almacena el archivo Python: hdfs:///path/spark-examples.py
          args	Array	No	El parámetro que se pasa al parámetro mainClass.	["arg1", "arg2"]
          configs	Json	No	Los parámetros del sistema del trabajo de Spark. Si necesita cargar el trabajo en OSS, debe configurar los siguientes parámetros en configs: spark.hadoop.fs.oss.endpoint: La ruta donde se almacena el trabajo de Spark en OSS. spark.hadoop.fs.oss.accessKeyId: El AccessKey ID utilizado para acceder a OSS. Puede obtener el AccessKey ID en la consola. Para obtener más información, consulte Obtain an AccessKey pair. spark.hadoop.fs.oss.accessKeySecret: El AccessKey secret utilizado para acceder a OSS. Puede obtener el AccessKey secret en la consola. Para obtener más información, consulte Obtain an AccessKey pair. spark.hadoop.fs.oss.impl: La clase utilizada para acceder a OSS. Establezca el valor en org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem.	{"spark.sql.shuffle.partitions": "200"}

        • La siguiente sección describe la plantilla de configuración y los parámetros personalizados de un trabajo SQL:

          {
            "mainResource" : "oss://path/to/your/file.sql",
            "configs" : {
              "spark.hadoop.fs.oss.endpoint" : "",
              "spark.hadoop.fs.oss.accessKeyId" : "",
              "spark.hadoop.fs.oss.accessKeySecret" : "",
              "spark.hadoop.fs.oss.impl" : "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem",
              "spark.sql.shuffle.partitions" : "20"
            }
          }

          Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
          mainResource	String	Sí	La ruta donde se almacena el archivo SQL en OSS o HDFS.	Ruta de OSS donde se almacena el archivo SQL: oss://testBucketName/path/spark-examples.sql Ruta de HDFS donde se almacena el archivo SQL: hdfs:///path/spark-examples.sql
          configs	Json	No	Otras configuraciones del trabajo SQL.	{ "spark.executor.memory" : "8g"}

   3. Una vez completada la configuración anterior, haga clic en Try Run en la esquina superior izquierda para comprobar si el trabajo se ejecuta según lo esperado.

7. Publique el flujo de tareas. Después de configurar todos los nodos, haga clic en Save en la esquina superior izquierda de la página del flujo de tareas actual.

Consulta del historial de publicación y registros de un flujo de tareas

1. En la página Task Orchestration, haga clic en el nombre del flujo de tareas cuyo historial de publicación y registros desea consultar.

2. En la página que aparece, haga clic en Go to O&M en la esquina superior derecha.

3. Consulte el historial de publicación y los registros del flujo de tareas.

   • Consulte el historial de publicación del flujo de tareas. En la página Task Flow Information, haga clic en la pestaña Published Tasks para ver el historial de publicación. La lista de tareas publicadas contiene las columnas Version ID, Publisher, Publish Time, Remarks y Actions. En la columna Actions, puede hacer clic en Details o DAG para ver los detalles de publicación de una versión.

   • Consulte los registros del flujo de tareas.

     1. En la pestaña Running History, seleccione Triggered at Specified Time o Triggered Manually en la lista desplegable de la esquina superior izquierda para ver los detalles de todos los nodos del flujo de tareas. En la pestaña Running History, expanda un registro de ejecución para ver el estado de ejecución, el tiempo consumido y los registros de cada nodo de subtarea.

     2. Haga clic en View en la línea del nodo que desea consultar. A continuación, revise los registros de envío del trabajo de Lindorm Spark y obtenga el ID del trabajo y la SparkUI del nodo.

        Nota

        Si no se pudo enviar el trabajo, proporcione el ID del trabajo y la SparkUI cuando envíe un ticket.

Configuración avanzada

Configuración de la programación

Puede configurar una directiva de programación según sus necesidades empresariales. El flujo de tareas de Lindorm Spark se ejecuta automáticamente basándose en dicha directiva. Siga estos pasos para configurar una directiva de programación:

1. En la página Task Orchestration, haga clic en el nombre del flujo de tareas para el que desea configurar una directiva de programación.

2. En la esquina inferior izquierda de la página que aparece, haga clic en Task Flow Information.

3. En la sección Scheduling Settings de la derecha, active Enable Scheduling y configure una directiva de programación. La siguiente tabla describe los parámetros que puede configurar.

   Parámetro	Descripción
   Scheduling Type	Seleccione un tipo de programación: Cyclic Scheduling: Programa tareas de forma recurrente, por ejemplo, una vez a la semana. Schedule Once: Ejecuta una tarea una sola vez en un momento específico. Solo necesita configurar la hora exacta de ejecución.
   Effective Period	Seleccione el periodo durante el cual entra en vigor el ciclo de programación. El valor predeterminado es 1970-01-01 to 9999-01-01, lo que significa que la programación siempre está activa.
   Scheduling Cycle	Seleccione el ciclo de programación: Hour: Ejecuta la programación de tareas según la hora especificada. Se requiere programación horaria. Day: Ejecuta la programación de tareas una vez al día. Debe configurar la hora específica para la programación diaria. Week: Ejecuta la programación de tareas una vez en cada día de la semana especificado. Debe configurar los días específicos y la hora. Month: Ejecuta la programación de tareas una vez en cada día del mes especificado. Debe configurar los días específicos y la hora.
   Timed Scheduling	Hay dos métodos de programación horaria disponibles: Programación de intervalo fijo: Start Time: La hora de inicio de la ejecución de la tarea. Interval: El intervalo entre ejecuciones de tareas, en horas. End Time: La hora de finalización de la ejecución de la tarea. Por ejemplo, si establece la hora de inicio en 00:00, el intervalo en 6 horas y la hora de finalización en 20:59, la tarea se ejecutará a las 00:00, 06:00, 12:00 y 18:00. Programación a Specified Time: Seleccione puntos horarios específicos para la ejecución de la tarea. Por ejemplo, si selecciona 0 Hour y 5 Hour, la tarea se ejecutará a las 00:00 y a las 05:00.
   Specified Time	Si el ciclo de programación es Week, seleccione los días de la semana en los que se ejecutará la tarea. Se admiten selecciones múltiples. Si el ciclo de programación es Month, seleccione los días del mes en los que se ejecutará la tarea. Se admiten selecciones múltiples.
   Specific Time	Establezca la hora específica para la ejecución del flujo de tareas. Por ejemplo, si establece la hora en 02:55, la tarea se ejecutará a las 02:55 en los días especificados.
   Cron Expression	No se requiere configuración manual. El sistema genera automáticamente la expresión cron basándose en el ciclo y la hora específica configurados.

   Ejemplo: Si desea que su flujo de tareas se programe a las 00:00 y a las 12:00 todos los días, configure la directiva de programación estableciendo los siguientes parámetros:

   • Establezca Scheduling Type en Cyclic scheduling.

   • Seleccione Hour en la lista desplegable Scheduling Cycle.

   • En el campo Timed Scheduling, seleccione Specified Time. Elija 0Hour y 12Hour en la lista desplegable Specified Time.

Configuración de variables

Para un flujo de tareas con programación cíclica habilitada, puede configurar una variable de tiempo para el trabajo que desea ejecutar. Por ejemplo, puede configurar la variable de tiempo bizdate para el nodo. Esta variable especifica el día anterior al momento en que se ejecuta la tarea. Siga estos pasos para configurar la variable de tiempo:

1. En la página del flujo de tareas actual, haga doble clic en el nodo Lindorm Spark, o bien seleccione el nodo Lindorm Spark y haga clic en el icono .

2. En el panel de navegación derecho, haga clic en Variable Setting.

3. En la pestaña Node Variable o Task Flow Variable, agregue una variable.

4. En la sección Job Configuration, utilice la variable. Para obtener información sobre otras variables, consulte Variables.

   Utilice ${nombre de variable} para hacer referencia a una variable definida en los parámetros del trabajo.

Gestión de notificaciones

Si habilita la función de notificación para su flujo de tareas, el sistema envía un mensaje de notificación según el resultado de la ejecución. Siga estos pasos para habilitar la función de notificación:

1. En la esquina inferior izquierda de la página del flujo de tareas actual, haga clic en Notification Configuration.

2. Active uno de los siguientes interruptores de notificación según sus necesidades empresariales:

   • Basic Notifications

     • Success Notification: El sistema envía un mensaje de notificación si el flujo de tareas se ejecuta correctamente.

     • Failure Notification: El sistema envía un mensaje de notificación si falla la ejecución del flujo de tareas.

   • Timeout Notification: El sistema envía un mensaje de notificación si el flujo de tareas supera el tiempo de espera.

   • Alert Notification: El sistema envía un mensaje de notificación cuando la tarea está a punto de iniciarse.

3. (Opcional): Configure los destinatarios de los mensajes. Para obtener más información sobre cómo configurar los destinatarios, consulte Notification management.

Ejecución de sentencias SQL

1. Inicie sesión en la consola de DMS V5.0.

2. Haga clic en la pestaña Home.

3. En el panel de navegación izquierdo, haga clic en el icono para crear una instancia.

4. En el cuadro de diálogo Add Instance, seleccione Lindorm_Compute en la sección NoSQL Database.

   

5. Especifique Instance Region, Instance ID, Database Account y Database password para la instancia, y luego haga clic en Submit.

6. En el cuadro de diálogo que aparece, haga clic en Submit para ir a SQLConsole.

7. En la pestaña SQLConsole, introduzca la sentencia SQL que desea ejecutar y haga clic en Execute.

Referencias

Para obtener más información sobre la función de orquestación de tareas de DMS, consulte Overview.