Un flujo de trabajo orquesta tareas en una secuencia definida con dependencias explícitas. Cree un flujo de trabajo y configure sus propiedades de programación para que las tareas se ejecuten automáticamente en los momentos especificados.
Requisitos previos
Creó un espacio de trabajo. Para obtener más información, consulte Manage workspaces.
Desarrolló y publicó las tareas obligatorias.
Crear un flujo de trabajo
-
Vaya a la página Workflows.
Inicie sesión en la consola de E-MapReduce.
En el panel de navegación izquierdo, elija EMR Serverless > Spark.
En la página Spark, haga clic en el nombre del espacio de trabajo deseado.
En la página EMR Serverless Spark, haga clic en Workflows en el panel de navegación izquierdo.
En la página Workflows, haga clic en Create Workflow.
-
En el panel Create Workflow, configure a continuación los parámetros indicados y haga clic en Next.
Parámetro
Descripción
Name
El nombre del flujo de trabajo debe ser único dentro del espacio de trabajo actual.
Resource Queue
Seleccione la cola de recursos predeterminada donde se ejecutará el flujo de trabajo.
NotaLa configuración de la cola de recursos de un nodo anula esta cola predeterminada.
Other Settings
Scheduling Type
Tipo de programación para ejecutar el flujo de trabajo en el entorno de producción:
-
Manual (predeterminado): el flujo de trabajo se ejecuta solo cuando usted lo activa manualmente.
-
Scheduler: el flujo de trabajo se ejecuta automáticamente según una programación definida (por minuto, hora o día).
Cuando establece Scheduling Type en Scheduler, también debe configurar los parámetros Scheduler y Scheduling Started At.
Scheduler
Frecuencia con la que el flujo de trabajo se ejecuta automáticamente. Es obligatorio únicamente cuando establece Scheduling Type en Scheduler.
Están disponibles a continuación los ciclos de programación:
-
Diario: se ejecuta una vez a la hora especificada cada día.
-
Por hora: se ejecuta en un intervalo definido, como
every N hours, dentro de un rango de tiempo específico cada día. -
Por minuto: se ejecuta en un intervalo definido, como
every N minutes, dentro de un rango de tiempo específico cada día.
Scheduling Started At
Fecha y hora en que inicia el flujo de trabajo programado. De forma predeterminada, toma la hora actual. Es obligatorio solo para el tipo Scheduler.
ImportantePara un flujo de trabajo de tipo Scheduler, debe habilitar el interruptor Scheduling Status en la página Workflows para activar su programación.
Retries After Failure
Número de veces que un nodo reintenta tras un error. Valor predeterminado: sin reintentos.
NotaLa configuración individual de un nodo puede anular este parámetro.
Failure Notification
Dirección de correo electrónico para recibir notificaciones de errores.
Tags
Pares clave-valor para etiquetar el flujo de trabajo.
-
-
Edite los nodos del flujo de trabajo.
En la página Edit Workflow, haga clic en Add Node en la parte inferior.
-
En el panel Add Node, configure los parámetros del nodo.
Parámetro
Descripción
Path
Ruta de la tarea que ejecuta este nodo. La tarea debe estar publicada.
Node Type
Tipo de nodo del flujo de trabajo. De forma predeterminada, el sistema deduce el tipo a partir de la tarea ubicada en la ruta especificada.
Node Name
Nombre personalizado del nodo. Se completa automáticamente desde el origen de la tarea.
Upstream Nodes
Nodo anterior en el flujo de trabajo.
El primer nodo no requiere un nodo ascendente.
Failure Retries
Hereda la configuración de reintentos del flujo de trabajo. Valor predeterminado: sin reintentos.
Timeout(seconds)
Tiempo de espera para una sola ejecución del nodo. Valor predeterminado: sin límite.
Subscriptions
Especifique una dirección de correo electrónico para suscribirse a las notificaciones de estados específicos del nodo.
Tags
Pares clave-valor de etiquetas para el nodo. Cada nodo incluye automáticamente dos etiquetas integradas:
workflow_nameytask_name.Resource Queue
Cola de recursos para este nodo. Esta configuración anula la cola de recursos predeterminada del flujo de trabajo.
ImportanteLa configuración de la cola de recursos específica de un nodo tiene prioridad sobre el valor predeterminado del flujo de trabajo, incluso si este último cambia después.
NotaSi el origen de la tarea es desarrollo SQL, también debe configurar los parámetros de la tarea. Estos parámetros heredan los valores de la plantilla de tareas de forma predeterminada. Modifique la plantilla de tareas para cambiar dichos valores. Para obtener más información sobre los parámetros, consulte Configuration management.
-
Haga clic en Save.
Después de configurar el nodo inicial, haga clic en Add Node en la parte inferior de la página para agregar más nodos.
-
Publique el flujo de trabajo.
En la esquina superior derecha, haga clic en Publish Workflow.
En el cuadro de diálogo Publish, introduzca una descripción para la versión y luego haga clic en OK.
Ejecutar un flujo de trabajo
Cada ejecución de un flujo de trabajo genera un registro en la pestaña Workflow Runs de la página de detalles correspondiente.
Depurar
Depure la versión más reciente de un flujo de trabajo mientras lo edita.
-
En la página Edit Workflow, haga clic en Debugging.

En el cuadro de diálogo Debugging, seleccione una cola de recursos del entorno de desarrollo y luego haga clic en Run.
Ejecución programada
Si al crear el flujo de trabajo estableció Scheduling Type en Scheduler, habilite el interruptor Scheduling Status después de la creación. El flujo de trabajo se activará entonces a la hora especificada.

Ejecución manual
En la página Workflows, haga clic en el nombre del flujo de trabajo deseado. En la esquina superior derecha, haga clic en Run y seleccione un método para ejecutarlo.
Manually Run (predeterminado): ejecuta el flujo de trabajo de inmediato, sin depender de su programación.
-
Backfill: vuelve a ejecutar el flujo de trabajo para un periodo histórico con el fin de corregir datos de ejecuciones con errores u omitidas. Configure a continuación los parámetros indicados:
Parámetro
Descripción
Cycle
El sistema genera ejecuciones del flujo de trabajo para el rango de tiempo seleccionado.
-
Cuando la hora actual supera el inicio del ciclo seleccionado, el sistema genera y ejecuta automáticamente las recuperaciones históricas.
-
Una ejecución de recuperación histórica se genera y se lleva a cabo solo si la hora programada del flujo de trabajo cae dentro del ciclo seleccionado.
-
Si el flujo de trabajo contiene variables de tiempo (por ejemplo,
${ds}), el sistema las sustituye automáticamente por la hora del ciclo seleccionado.
Parallelism
Número de ejecuciones de recuperación histórica que el sistema programa de forma simultánea. Valor predeterminado: 1. El sistema programa las ejecuciones en orden ascendente según el ciclo de negocio e inicia las siguientes conforme terminan las anteriores. Un valor de 1 procesa la recuperación de forma secuencial. Un valor mayor que 1 la ejecuta de manera concurrente, en orden ascendente del ciclo de negocio.
NotaLas ejecuciones se programan en orden ascendente del ciclo de negocio. Sin embargo, el orden de finalización depende de la duración de cada flujo de trabajo y no necesariamente coincide con el orden de programación.
Resource Queue
Utiliza la cola de recursos predeterminada del flujo de trabajo. También puede seleccionar otra cola disponible en el entorno de producción.
Remarks
Descripción de la ejecución de recuperación histórica que facilita su gestión y resolución de problemas futuros.
More
-
Failure Notification: especifique una dirección de correo electrónico para recibir alertas cuando falle la ejecución de recuperación histórica.
-
Node resource queue priority: deshabilitada de forma predeterminada. Cuando está habilitada, cada nodo del flujo de trabajo se ejecuta en las colas de recursos Driver y Executor configuradas para ese nodo. Los nodos sin cola configurada utilizan la cola de recursos especificada arriba. Si está deshabilitada, todos los nodos usan la cola indicada anteriormente. Se recomienda habilitar esta opción si el flujo de trabajo combina colas de CPU y GPU.
-
Consultar el estado de ejecución
Consulte el estado de todas las ejecuciones del flujo de trabajo y de sus nodos en las columnas Workflow Runs Status y Workflow Job Runs Status del flujo de trabajo correspondiente.
-
Estado de ejecución del flujo de trabajo
Estado
Descripción
Azul
Running
Verde
Succeeded
Rojo
Failed
Morado
Pending
-
Estado de ejecución de los nodos del flujo de trabajo
Estado
Descripción
Azul
Running
Verde
Succeeded
Rojo
Failed
Amarillo
Retrying
Morado
Pending
Temas relacionados
Para obtener más información sobre los conceptos clave de los flujos de trabajo, consulte Basic concepts.
For information about viewing workflow and node runs, see Manage workflow runs and node runs.