Microservices Engine:Job de Kubernetes

Edición de scripts en línea

Los Jobs de Kubernetes se utilizan comúnmente para tareas de procesamiento de datos u operaciones implementadas mediante scripts. De forma nativa, debe empaquetar cada script en una imagen y configurar el comando en un archivo YAML; además, debe recompilar y redesplegar la imagen ante cualquier cambio. Por ejemplo:

apiVersion: batch/v1
kind: Job
metadata:
  name: hello
spec:
  template:
    spec:
      containers:
      - name: hello
        image: busybox
        command: ["sh",  "/root/hello.sh"]
      restartPolicy: Never
  backoffLimit: 4

SchedulerX elimina la necesidad de compilar imágenes o escribir YAML para los scripts. Puede editar scripts de Shell, Python, PHP y Node.js directamente en la consola, y el sistema los ejecuta automáticamente en un Pod. Las actualizaciones surten efecto en la siguiente ejecución programada.

Por ejemplo:

En la página de edición de jobs de la consola de SchedulerX, puede escribir y modificar el contenido del script directamente en el script editor. Al finalizar, haga clic en Save. La versión más reciente del script se ejecutará automáticamente en la siguiente hora programada.

Orquestación visual de jobs

En el ecosistema de Kubernetes, Argo es una solución popular para la orquestación de flujos de trabajo. Por ejemplo:

# The following workflow executes a diamond workflow
# 
#   A
#  / \
# B   C
#  \ /
#   D
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: dag-diamond-
spec:
  entrypoint: diamond
  templates:
  - name: diamond
    dag:
      tasks:
      - name: A
        template: echo
        arguments:
          parameters: [{name: message, value: A}]
      - name: B
        depends: "A"
        template: echo
        arguments:
          parameters: [{name: message, value: B}]
      - name: C
        depends: "A"
        template: echo
        arguments:
          parameters: [{name: message, value: C}]
      - name: D
        depends: "B && C"
        template: echo
        arguments:
          parameters: [{name: message, value: D}]

  - name: echo
    inputs:
      parameters:
      - name: message
    container:
      image: alpine:3.7
      command: [echo, "{{inputs.parameters.message}}"]

SchedulerX permite orquestar visualmente Jobs de Kubernetes mediante una interfaz de arrastrar y soltar.

En comparación con Argo, SchedulerX proporciona un gráfico visual del flujo de trabajo durante la ejecución que rastrea el progreso del job, lo que facilita la identificación de cuellos de botella o fallos.

En la vista de instancias del flujo de trabajo, cada nodo de tarea tiene un código de colores según su estado (por ejemplo, verde para éxito y rojo para fallo), lo que le permite localizar visualmente el error.

Monitoreo y alertas

SchedulerX incluye monitoreo y alertas integrados para Pods y Jobs.

• Canales de alerta compatibles: SMS, llamada telefónica, correo electrónico y webhook (para DingTalk, WeCom y Lark).

• Directivas de alerta compatibles: alerta por fallo y alerta por tiempo de espera de ejecución.

Servicio de registros

SchedulerX recopila automáticamente los registros de la ejecución del Pod sin requerir un servicio de registros independiente. Si un Pod falla, puede consultar el motivo del fallo en la consola de SchedulerX para solucionar problemas rápidamente.

Los detalles de la instancia de la tarea incluyen registros completos de ejecución del Pod con seguimientos de pila y motivos de fallo.

Panel de monitoreo

SchedulerX proporciona un panel de monitoreo de jobs integrado, lo que elimina la necesidad de configurar Prometheus o un servicio similar.

El panel muestra métricas clave como recuentos de ejecución de jobs, tasas de éxito y fallo, y tendencias de duración de ejecución.

Despliegue mixto de jobs

SchedulerX admite tipos de jobs tanto de Java como de Kubernetes para despliegues mixtos. Utilice invocaciones de métodos en proceso para jobs en línea sensibles a la latencia, como el procesamiento de pedidos, y ejecute jobs sin conexión que consumen muchos recursos, como exportaciones de informes, como scripts en Pods separados.