Container Service for Kubernetes:Use event-driven scaling with a MongoDB event source

Diferencias entre ScaledJob y ScaledObject

Utilice ScaledJob cuando cada evento corresponda a una tarea discreta y de larga duración que se ejecuta hasta completarse en su propio pod. ack-keda programa un Job por evento: lo inicializa, procesa el evento y lo finaliza. Este aislamiento evita que las tareas lentas bloqueen a otras y permite un control preciso de la concurrencia mediante maxReplicaCount.

Utilice ScaledObject cuando los eventos impulsen un rendimiento continuo y su carga de trabajo se gestione mejor mediante un pool de réplicas de Deployment de larga duración.

El siguiente tutorial utiliza ScaledJob para la transcodificación de video. Cuando se inserta un registro con "state":"waiting" en MongoDB, ack-keda crea un Job para procesar la tarea y establece el registro en "state":"finished" al finalizar. Los Jobs terminados se limpian automáticamente.

Crear los namespaces del ejemplo

Este ejemplo utiliza el namespace mongodb para la base de datos y mongodb-test para las configuraciones de autoescalado.

kubectl create ns mongodb
kubectl create ns mongodb-test

Desplegar MongoDB

Si ya cuenta con un servicio de MongoDB, omita este paso.

1. Cree el archivo mongoDB.yaml.

   Importante

   Este servicio de MongoDB es solo para fines de demostración y no cuenta con alta disponibilidad. No lo utilice en entornos de producción.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: mongodb
     namespace: mongodb
   spec:
     replicas: 1
     selector:
       matchLabels:
         name: mongodb
     template:
       metadata:
         labels:
           name: mongodb
       spec:
         containers:
         - name: mongodb
           image: registry-cn-shanghai.ack.aliyuncs.com/acs/mongo:v5.0.0
           imagePullPolicy: IfNotPresent
           ports:
           - containerPort: 27017
             name: mongodb
             protocol: TCP
   ---
   kind: Service
   apiVersion: v1
   metadata:
     name: mongodb-svc
     namespace: mongodb
   spec:
     type: ClusterIP
     ports:
     - name: mongodb
       port: 27017
       targetPort: 27017
       protocol: TCP
     selector:
       name: mongodb

2. Despliegue MongoDB.

   kubectl apply -f mongoDB.yaml

Inicializar la base de datos MongoDB

1. Obtenga el nombre del pod de MongoDB.

   MONGO_POD_NAME=$(kubectl get pods -n mongodb -l name=mongodb -o jsonpath='{.items[0].metadata.name}')
   echo "MongoDB pod name: $MONGO_POD_NAME"

2. En la base de datos test, cree el usuario test_user y la colección test_collection.

   # Create user
   kubectl exec -n mongodb ${MONGO_POD_NAME} -- mongo --eval 'db.createUser({ user:"test_user",pwd:"test_password",roles:[{ role:"readWrite", db: "test"}]})'
   
   # Authenticate user
   kubectl exec -n mongodb ${MONGO_POD_NAME} -- mongo --eval 'db.auth("test_user","test_password")'
   
   # Create collection
   kubectl exec -n mongodb ${MONGO_POD_NAME} -- mongo test --eval 'db.createCollection("test_collection")'

Configurar TriggerAuthentication y ScaledJob

ack-keda utiliza TriggerAuthentication para gestionar de forma segura las credenciales del origen de eventos. ScaledJob define las reglas de escalado, los intervalos de sondeo y la plantilla del Job.

El siguiente archivo combina los tres recursos: Secret, TriggerAuthentication y ScaledJob.

1. Cree el archivo keda-mongodb.yaml. La referencia secretTargetRef en TriggerAuthentication lee la cadena de conexión del Secret para la autenticación en MongoDB. La query en ScaledJob activa la creación de Jobs cuando los documentos en test_collection coinciden con {"type":"mp4","state":"waiting"}.

   apiVersion: v1
   kind: Secret
   metadata:
     name: mongodb-secret
     namespace: mongodb-test
   type: Opaque
   data:
     # Base64-encoded value of:
     # mongodb://test_user:test_password@mongodb-svc.mongodb.svc.cluster.local:27017/test
     connect: bW9uZ29kYjovL3Rlc3RfdXNlcjp0ZXN0X3Bhc3N3b3JkQG1vbmdvZGItc3ZjLm1vbmdvZGIuc3ZjLmNsdXN0ZXIubG9jYWw6MjcwMTcvdGVzdA==
   ---
   apiVersion: keda.sh/v1alpha1
   kind: TriggerAuthentication
   metadata:
     name: mongodb-trigger
     namespace: mongodb-test
   spec:
     secretTargetRef:
       - parameter: connectionString
         name: mongodb-secret
         key: connect
   ---
   apiVersion: keda.sh/v1alpha1
   kind: ScaledJob
   metadata:
     name: mongodb-job
     namespace: mongodb-test
   spec:
     jobTargetRef:
       template:
         spec:
           containers:
             - name: mongo-update
               image: registry-cn-shanghai.ack.aliyuncs.com/acs/mongo-update:v6
               args:
                 - --dataBase=test
                 - --collection=test_collection
                 - --operation=updateMany
                 - --update={"$set":{"state":"finished"}}
               env:
                 - name: MONGODB_CONNECTION_STRING
                   value: mongodb://test_user:test_password@mongodb-svc.mongodb.svc.cluster.local:27017/test
               imagePullPolicy: IfNotPresent
           restartPolicy: Never
       backoffLimit: 1
     pollingInterval: 15         # Check MongoDB every 15 seconds
     maxReplicaCount: 5          # Run at most 5 concurrent Jobs
     successfulJobsHistoryLimit: 0  # Delete completed Jobs immediately
     failedJobsHistoryLimit: 10     # Keep the last 10 failed Jobs for debugging
     triggers:
       - type: mongodb
         metadata:
           dbName: test
           collection: test_collection
           query: '{"type":"mp4","state":"waiting"}'  # Launch a Job for each matching document
           queryValue: "1"
         authenticationRef:
           name: mongodb-trigger

2. Despliegue la configuración.

   kubectl apply -f keda-mongodb.yaml