Container Service for Kubernetes:Build a general-purpose web chatbot with Flowise

1.1 Requisitos previos

1. Se creó un clúster ACK Pro versión 1.22 o posterior. Consulte Create an ACK managed cluster y Upgrade a cluster.

2. kubectl se conectó al clúster. Consulte Obtain the kubeconfig file of a cluster and use kubectl to connect to the cluster.

1.2 Despliegue del componente

2.1 Acceda al servicio Flowise

1. Habilite el acceso a Internet para el componente Flowise.

   En entornos de producción, habilite Access Control para proteger sus datos.

2. Una vez completada la configuración, busque la External IP del componente Flowise. Introduzca esta dirección IP en su navegador para acceder al servicio Flowise.

   En la página de lista de servicios, confirme que el servicio flowise sea de tipo LoadBalancer y que la asignación de puertos sea 3000:30864/TCP.

   

3. Acceda al servicio Flowise.

   Abra la dirección External IP e introduzca su Username y Password.

   

   Si no configuró un username ni una password personalizados durante la instalación, use los valores predeterminados: Username=flowiseuser y Password=flowisepassword.

2.2 Cree Chatflows

Flowise permite convertir flujos en herramientas. Un flujo principal coordina los flujos de herramientas específicos, cada uno diseñado para una tarea concreta.

Cada flujo secundario se ejecuta de forma independiente con su propia memoria. Un agente final resume todas las salidas para obtener resultados de mayor calidad.

Para crear un Chatflow:

1. Inicie sesión en el servicio Flowise.

2. Cree un nuevo Chatflow.

   Haga clic en ChatFlows > Add New.

   

3.1 Configure los modelos de chat

Flowise orquesta aplicaciones LLM mediante la conexión de nodos. Estos nodos se abstraen de frameworks como LangChain y LlamaIndex, e incluyen tipos como Agents, Chains y Chat Models.

1. En el Chat Models Panel, arrastre un nodo ChatOpenAI Custom. Haga clic en Connect Credential > Create New e introduzca la clave de API para Tongyi Qianwen.

   

2. En Connect Credential, seleccione Tongyi Qianwen. Establezca Model Name en qwen-turbo, defina Temperature en 0.9 y, en la página Additional Parameters, configure BasePath como https://dashscope.aliyuncs.com/compatible-mode/v1.

   

3.2 Configure una plantilla de prompt

En el panel Prompts, arrastre un nodo Prompt Template y configure la Template de la siguiente manera.

Question: {question}
Answer: Let's think step by step.

3.3 Configure una cadena LLM

1. En el panel Chains, arrastre un nodo LLM Chain.

   El nodo LLM Chain creado contiene los siguientes campos de entrada: Language Model (obligatorio), Prompt (obligatorio), Output Parser, Input Moderation y Chain Name (utilizado para nombrar la cadena). El campo de salida es LLM Chain.

   

2. Conecte los nodos para completar la orquestación del chatbot.

   El flujo de trabajo orquestado contiene un nodo ChatOpenAI Custom (con el modelo establecido en qwen-turbo y Connect Credential configurado), un nodo Prompt Template y un nodo LLM Chain. Los tres nodos se conectan en secuencia.

   

3.4 Compruebe el resultado

Después de orquestar el Chatflow, haga clic en Save en la esquina superior derecha. Utilice el botón Message para depurar el chatbot.

En el lienzo, el nodo ChatOpenAI Custom (Connect Credential: Tongyi Qianwen, Model Name: qwen-turbo, Temperature: 0.9), el nodo Prompt Template (plantilla: Question: {question} Answer: Let's think step by step.) y el nodo LLM Chain están conectados en secuencia. En el panel de chat de la derecha, envíe un mensaje como "Please introduce yourself". El modelo devuelve una presentación sobre sus capacidades como asistente de IA, lo cual comprueba que la función de conversación opera según lo esperado.

Aplique la solución a un entorno de producción

Existen dos formas de desplegar el chatbot en producción:

Ejemplo: integre una aplicación de IA en un sitio web

Siga estos pasos para integrar una aplicación LLM en su sitio web.

Este ejemplo es únicamente demostrativo. Habilite Access Control en producción para proteger sus datos.

1. Habilite el acceso a Internet para el componente Flowise y abra la IP externa en su navegador. Consulte Access the Flowise service.

   

2. Construya una aplicación web sencilla en un clúster de ACK para depurar el chatbot.

   Despliegue una aplicación web en el clúster de ACK para alojar la aplicación LLM de Flowise.

   1. Obtenga el código del servicio Flowise.

      Seleccione un método de integración y copie el código en su sitio web.

      

   2. En el clúster de ACK, cree un deployment y un service para ejecutar y exponer la aplicación web.

      El siguiente YAML despliega un servidor Nginx con HTML estático.

      1. Inicie sesión en la consola de ACK. En la página Configurations > ConfigMaps, seleccione el namespace default y haga clic en Create from YAML. Pegue el siguiente YAML y reemplace window.difyChatbotConfig, scr e id con el código de su servicio Flowise.

         Consulte el siguiente ejemplo.

         Ver contenido YAML

         apiVersion: apps/v1
         kind: Deployment
         metadata:
           name: web-deployment
         spec:
           replicas: 2
           selector:
             matchLabels:
               app: web
           template:
             metadata:
               labels:
                 app: web
             spec:
               containers:
               - name: web
                 image: registry.openanolis.cn/openanolis/nginx:1.14.1-8.6
                 ports:
                 - containerPort: 80
                 volumeMounts:
                 - name: web-content
                   mountPath: /usr/share/nginx/html
               volumes:
               - name: web-content
                 configMap:
                   name: web-config
           
         
         ---
         apiVersion: v1
         kind: Service
         metadata:
           name: web-service
         spec:
           selector:
             app: web
           ports:
             - protocol: TCP
               port: 80
               targetPort: 80
           type: LoadBalancer
         
         ---
         apiVersion: v1
         kind: ConfigMap
         metadata:
           name: web-config
         data:
           index.html: |
             <!DOCTYPE html>
             <html lang="en">
             <head>
                 <meta charset="UTF-8">
                 <meta name="viewport" content="width=device-width, initial-scale=1.0">
                 <title>The simplest website service</title>
               
             </head>
             <body>
                 <h1>Welcome to my website!</h1>
             
             
                 <script type="module">
             import Chatbot from "https://cdn.jsdelivr.net/npm/flowise-embed/dist/web.js"
             Chatbot.init({
                 chatflowid: "86c03xxx-de3a-4xx3-9xx2-f5d56xxxx0a4",
                 apiHost: "http://127.xx.xx.1:8080",
             })
                 </script>
         
             </body>
             </html>

      2. Despliegue exitoso:

         

         En el panel de navegación izquierdo de la consola de ACK, elija Stateless y consulte los detalles de la carga de trabajo web-deployment. El namespace es default, las imágenes de los dos pods son registry.openanolis.cn/openanolis/nginx:1.14.1-8.6, ambos pods están en estado Running y el recuento de listos es 2/2. Esto indica que el despliegue fue exitoso.

      3. Habilite el acceso a Internet para el servicio desplegado.

         En entornos de producción, habilite Access Control para proteger sus datos.

         En el panel de navegación izquierdo, elija Network > Services. Busque web-service y haga clic en Update en la columna Actions. En el cuadro de diálogo Update Service, seleccione la pestaña LoadBalancer, establezca el tipo de load balancer en Classic Load Balancer (CLB), defina Select Resources como Create New, configure Access Method en Internet Access y Billing Method en Pay-as-you-go. Luego, haga clic en OK.

         

         Una vez completada la configuración, busque la External IP de web-service. Introduzca esta dirección IP en su navegador para acceder al servicio web.

         

         Importante

         • Para el acceso externo, asegúrese de que el security group del clúster permita tráfico en el puerto 80. Consulte Add a security group rule.

         • Asegúrese de que su código esté protegido contra ataques de cross-site scripting (XSS) e inyección de código. Este es un ejemplo básico; amplíelo y modifíquelo según sus necesidades.

      4. Consulte el resultado.

         

Mejora continua

Consulte Build a customized AI Q&A assistant for a website using Dify.

Con Dify, integre bases de conocimiento en aplicaciones LLM para construir soluciones personalizadas de preguntas y respuestas con IA para su negocio.