Realtime Compute for Apache Flink:Gestionar flujos de trabajo

Limitaciones

• Solo puede crear flujos de trabajo para trabajos por lotes desplegados.

• La función Workflows se encuentra en versión preliminar pública. Los SLA no están garantizados durante este periodo. Para obtener más información, consulte Service Level Agreement (SLA) for Realtime Compute for Apache Flink. Si encuentra algún problema, puede enviar un ticket.

• La función Workflows solo está disponible en las regiones China (Shanghai), China (Hangzhou), China (Beijing), China (Shenzhen), China (Zhangjiakou) y Singapore.

Crear un flujo de trabajo

1. Inicie sesión en la consola de Realtime Compute for Apache Flink.

2. En la columna Actions del espacio de trabajo deseado, haga clic en Console.

3. En el panel de navegación izquierdo, seleccione O&M > Workflows.

4. Haga clic en Create workflow y configure los siguientes parámetros.

   Parámetro	Descripción
   Nombre del flujo de trabajo	El nombre del flujo de trabajo debe ser único dentro del namespace actual.
   Configuración de variables	Permite el procesamiento de datos con valores predefinidos. Nombre de variable: un nombre de variable personalizado, como ${date}. Valor de variable: puede ser una fecha estática, un formato de hora o una expresión. Se admiten las siguientes variables de hora del sistema: Variable system.biz.date con valor ${system.biz.date}: representa el día anterior a la hora programada de una instancia de flujo de trabajo diario, en formato yyyyMMdd. Variable system.biz.curdate con valor ${system.biz.curdate}: representa la fecha programada (año, mes, día) de una instancia de flujo de trabajo diario, en formato yyyyMMdd. Variable system.datetime con valor ${system.datetime}: representa la hora programada (año, mes, día, hora, minuto, segundo) de una instancia de flujo de trabajo diario, en formato yyyyMMddHHmmss. Nota Esta configuración no es obligatoria al crear un flujo de trabajo para una tabla materializada. Estos parámetros se aplican a todos los despliegues asociados con las tareas del flujo de trabajo. Las configuraciones a nivel de flujo de trabajo anulan las configuraciones a nivel de despliegue.
   Tipo de programación	Admite dos tipos de programación: Manually Triggered: ejecuta el flujo de trabajo manualmente al hacer clic en Execute. Es adecuado para pruebas temporales o procesamiento inmediato. Periodic scheduling: activa el flujo de trabajo según una regla de programación. Puede programarlo para que se ejecute en intervalos de minutos, horas o días. Importante Los flujos de trabajo con tareas de tabla materializada requieren programación periódica.
   Regla de programación	Obligatorio solo para Periodic scheduling. Puede usar una expresión cron para definir reglas complejas. Ejemplos: 0 0 /4 ? *: se ejecuta cada 4 horas. 0 0 2 ? : se ejecuta a las 2:00 AM todos los días. 0 0 5.17 ? * MON-FRI: se ejecuta a las 5:00 AM y 5:00 PM, de lunes a viernes. Para obtener más información sobre la sintaxis de expresiones cron, consulte Cron expression syntax.
   Hora de inicio programada	La hora en que la regla entra en vigor. Este parámetro es obligatorio solo para el tipo Periodic scheduling. Importante Un flujo de trabajo programado periódicamente solo se ejecuta después de que su State esté habilitado. Establezca la hora de inicio programada en una hora futura para asegurar que la tarea no pierda su ventana de programación.
   Recuentos de reintentos por error	Especifica cuántas veces se deben reintentar las tareas con errores en el flujo de trabajo. Los reintentos están deshabilitados de forma predeterminada.
   Notificación de errores	La dirección de correo electrónico predeterminada para notificaciones cuando falla una tarea en el flujo de trabajo. Nota Puede configurar alertas a través de DingTalk, SMS y otros métodos mediante CloudMonitor. Para obtener más información, consulte Configure monitoring and alerts.
   Cola de recursos	El destino de despliegue para el flujo de trabajo. Para obtener más información, consulte Manage resource queues. Esta configuración se aplica a todas las tareas de forma predeterminada, lo que elimina la necesidad de configuración a nivel de tarea. Nota Esta configuración no cambia el destino de despliegue del trabajo por lotes desplegado correspondiente.
   Etiqueta	Puede agregar una clave y un valor para crear una etiqueta para el flujo de trabajo.

5. Haga clic en Create.

   Se le redirige a la página del constructor de flujos de trabajo.

6. Configure la tarea inicial del flujo de trabajo.

   La página del constructor contiene una tarea inicial predeterminada. Haga clic en la tarea inicial, configure sus parámetros en el panel Edit task y luego haga clic en Save.

   Trabajo

   Parámetro	Descripción
   Despliegue	Solo puede seleccionar un trabajo por lotes desplegado del namespace actual. Se admite la búsqueda aproximada.
   Nombre de la tarea	El nombre de la tarea dentro del flujo de trabajo actual.
   Tareas anteriores	Las dependencias anteriores de la tarea actual. Solo puede seleccionar otras tareas dentro del flujo de trabajo actual. Nota La tarea inicial no tiene dependencias anteriores, por lo que no puede seleccionar una tarea anterior para ella.
   Recuentos de reintentos por error	El número de intentos de reintento para una tarea con errores. De forma predeterminada, este valor se hereda del recuento de reintentos del flujo de trabajo. Si se especifica, la configuración a nivel de tarea tiene prioridad.
   Suscripción	Configure la política de suscripción de estados y el correo electrónico de notificación. Puede suscribirse a los estados Start y Fail.
   Tiempo de espera	El tiempo máximo de ejecución para la tarea. Si la tarea excede esta duración, falla.
   Cola de recursos	El destino de despliegue para la tarea. Para obtener más información, consulte Manage resource queues. Si no se especifica, se utiliza la cola de recursos configurada para el flujo de trabajo. Nota Esta configuración no cambia el destino de despliegue del trabajo por lotes desplegado correspondiente.
   Etiqueta	Puede agregar una clave y un valor para crear una etiqueta para la tarea del flujo de trabajo.

   Tabla materializada

   Parámetro	Descripción
   Tabla materializada	Solo puede seleccionar tablas materializadas particionadas que se crearon con VVR 11.0 o posterior y usan modo de actualización de streaming.
   Nombre de la tarea	El nombre de la tarea dentro del flujo de trabajo actual.
   Partición de tiempo	Campo de partición: el campo de partición de tiempo de la tabla materializada. Formato de partición: por ejemplo, yyyyMMdd.
   Configuración de recursos	Puede personalizar la cantidad de recursos utilizados para las recargas programadas. Para el paralelismo, seleccione Automatically allocate para permitir que el sistema determine un valor adecuado.
   Tareas anteriores	Las dependencias anteriores de la tarea actual. Solo puede seleccionar otras tareas dentro del flujo de trabajo actual. Nota La tarea inicial no tiene dependencias anteriores, por lo que no puede seleccionar una tarea anterior para ella. Después de crear una tarea de tabla materializada, las tareas posteriores se infieren automáticamente según el linaje de datos.
   Recuentos de reintentos por error	El número de intentos de reintento para una tarea con errores. De forma predeterminada, este valor se hereda del recuento de reintentos del flujo de trabajo. Si se especifica, la configuración a nivel de tarea tiene prioridad.
   Suscripción	Configure la política de suscripción de estados y el correo electrónico de notificación. Puede suscribirse a los estados Start y Fail.
   Tiempo de espera	El tiempo máximo de ejecución para la tarea. Si la tarea excede esta duración, falla.
   Cola de recursos	El destino de despliegue para la tarea. Para obtener más información, consulte Manage resource queues. Si no se especifica, se utiliza la cola de recursos configurada para el flujo de trabajo. Nota Esta configuración no cambia el destino de despliegue de la tabla materializada desplegada correspondiente.
   Etiqueta	Puede agregar una clave y un valor para crear una etiqueta para la tarea del flujo de trabajo.

   Nota

   • Después de crear una tarea de tabla materializada, un cuadro de diálogo utiliza el linaje de la tabla para sugerir tareas posteriores. Simplemente seleccione las tareas deseadas para completar la configuración.

   • Las tareas posteriores también deben cumplir las mismas limitaciones. Solo puede seleccionar tablas materializadas particionadas que se crearon con VVR 11.0 o posterior y usan modo de actualización de streaming con una frescura menor a 30 minutos.

7. (Opcional) Haga clic en Add task en la parte inferior de la página para agregar más tareas.

8. Guarde la configuración del flujo de trabajo.

   1. En la esquina superior derecha de la página del editor de tareas, haga clic en Save.

   2. En el cuadro de diálogo que aparece, haga clic en OK.

Ejecutar un flujo de trabajo

Cada ejecución de flujo de trabajo genera una instancia de flujo de trabajo, que aparece en la pestaña Overview de la página de detalles del flujo de trabajo.

• Activación manual: ejecuta el flujo de trabajo una vez de inmediato. Esto es útil para pruebas o procesamiento bajo demanda.

  En la columna Actions del flujo de trabajo deseado, haga clic en Execute. En el cuadro de diálogo que aparece, seleccione Manual trigger y luego haga clic en OK. Cada operación activa una ejecución del flujo de trabajo.

• Programación periódica: una vez habilitada, el flujo de trabajo se ejecuta automáticamente a la hora programada.

  Debe habilitar el State del flujo de trabajo deseado para que se ejecute a la hora programada.

Recarga de datos

La recarga de datos complementa o actualiza datos dentro de un rango de tiempo específico. Los casos de uso comunes incluyen el reprocesamiento de datos históricos de fuentes anteriores, la corrección de tablas de dimensiones o la carga retrospectiva de datos para nuevas integraciones.

Estado del flujo de trabajo

La columna Status resume los estados de todas las instancias de un flujo de trabajo determinado. Por ejemplo, si un flujo de trabajo se ejecuta diariamente durante cinco días, la columna Status proporciona un recuento de cuántas de las cinco instancias se encuentran en cada estado (como Successful o Failed).

Editar un flujo de trabajo

1. Inicie sesión en la consola de Realtime Compute for Apache Flink.

2. En la columna Actions del espacio de trabajo deseado, haga clic en Console.

3. En el panel de navegación izquierdo, haga clic en Workflows.

4. En la columna Actions del flujo de trabajo deseado, haga clic en Edit workflow.

   Para descripciones de parámetros, consulte Create a workflow.

   Nota

   Para editar un flujo de trabajo, su State debe estar en Off.

Temas relacionados

• Para programar tareas por lotes de Flink SQL en DataWorks, consulte Flink SQL Batch node y Node scheduling configuration.

• Para obtener más información sobre los conceptos básicos de Workflows, consulte Workflows (public preview).

• To view workflow instances, task logs, and more, see Manage workflow instances and task instances.

• Puede agregar colas de recursos para aislar y gestionar recursos. Para obtener más información, consulte Manage resource queues.

• Para desplegar trabajos por lotes (SQL, JAR y Python), consulte Deploy a job.