Container Service for Kubernetes:Crie um chatbot web de uso geral com o Flowise

1.1 Pré-requisitos

1. Um cluster ACK Pro da versão 1.22 ou posterior foi criado. Consulte Criar um cluster gerenciado do ACK e Atualizar um cluster.

2. O kubectl está conectado ao cluster. Consulte Obter o arquivo kubeconfig de um cluster e usar o kubectl para conectar-se ao cluster.

1.2 Implante o componente

2.1 Acesse o serviço Flowise

1. Habilite o acesso à Internet para o componente Flowise.

   Em produção, habilite o Access Control para proteger seus dados.

2. Após a configuração, encontre o External IP do componente Flowise. Insira este IP no seu navegador para acessar o serviço Flowise.

   Na página da lista de serviços, confirme se o serviço flowise é do tipo LoadBalancer e se o mapeamento de porta é 3000:30864/TCP.

   

3. Acesse o serviço Flowise.

   Abra o endereço External IP e insira seu Username e Password.

   

   Se nenhum username ou password personalizado foi definido durante a instalação, use os padrões: Username=flowiseuser e Password=flowisepassword.

2.2 Crie Chatflows

O Flowise pode transformar fluxos em ferramentas. Um fluxo principal coordena fluxos de ferramentas específicos para tarefas, cada um projetado para uma tarefa específica.

Cada fluxo filho é executado de forma independente com sua própria memória. Um agente final resume todas as saídas para obter resultados de maior qualidade.

Para criar um Chatflow:

1. Faça logon no serviço Flowise.

2. Crie um novo Chatflow.

   Clique em ChatFlows > Add New.

   

3.1 Configurar modelos de chat

O Flowise orquestra aplicações de LLM conectando nós. Esses nós, abstraídos de frameworks como LangChain e LlamaIndex, incluem tipos como Agents, Chains e Chat Models.

1. No Chat Models Panel, arraste um nó ChatOpenAI Custom. Clique em Connect Credential > Create New e insira a chave de API do Tongyi Qianwen.

   

2. Em Connect Credential, selecione Tongyi Qianwen. Defina Model Name como qwen-turbo, defina Temperature como 0.9 e, na página Additional Parameters, defina BasePath como https://dashscope.aliyuncs.com/compatible-mode/v1.

   

3.2 Configurar um modelo de prompt

No painel Prompts, arraste um nó Prompt Template e configure o Template da seguinte forma.

Question: {question}
Answer: Let's think step by step.

3.3 Configurar uma LLM Chain

1. No painel Chains, arraste um nó LLM Chain.

   O nó LLM Chain criado contém os seguintes campos de entrada: Language Model (obrigatório), Prompt (obrigatório), Output Parser, Input Moderation e Chain Name (usado para nomear a chain). O campo de saída é LLM Chain.

   

2. Conecte os nós para concluir a orquestração do chatbot.

   O fluxo de trabalho orquestrado contém um nó ChatOpenAI Custom (com o modelo definido como qwen-turbo e Connect Credential configurado), um nó Prompt Template e um nó LLM Chain. Os três nós estão conectados em sequência.

   

3.4 Verificar o resultado

Após orquestrar o Chatflow, clique em Save no canto superior direito. Use o botão Message para depurar o chatbot.

Na canvas, o nó ChatOpenAI Custom (Connect Credential: Tongyi Qianwen, Model Name: qwen-turbo, Temperature: 0.9), o nó Prompt Template (template: Question: {question} Answer: Let's think step by step.) e o nó LLM Chain estão conectados em sequência. No painel de chat à direita, envie uma mensagem como "Please introduce yourself". O modelo retorna uma autopresentação sobre suas capacidades como assistente de IA, o que verifica se o recurso de conversa funciona conforme o esperado.

Aplicar a um ambiente de produção

Duas maneiras de implantar o chatbot em produção:

Exemplo: Incorporar uma aplicação de IA em um site

Siga estas etapas para incorporar uma aplicação de LLM ao seu site.

Este exemplo é apenas para demonstração. Ative o Access Control na produção para proteger seus dados.

1. Ative o acesso à Internet para o componente Flowise e abra o IP externo no seu navegador. Consulte Acessar o serviço Flowise.

   

2. Crie uma aplicação web simples em um cluster ACK para depurar o chatbot.

   Implante uma aplicação web no cluster ACK para hospedar a aplicação de LLM do Flowise.

   1. Obtenha o código do serviço Flowise.

      Selecione um método de incorporação e copie o código para o seu site.

      

   2. No cluster ACK, crie um deployment e um service para executar e expor a aplicação web.

      O YAML a seguir implanta um servidor Nginx com HTML estático.

      1. Faça login no console do ACK. Na página Configurations > ConfigMaps, selecione o namespace default e clique em Create from YAML. Cole o YAML abaixo e substitua window.difyChatbotConfig, scr e id pelo código do seu serviço Flowise.

         Veja o exemplo abaixo.

         Visualizar conteúdo YAML

         apiVersion: apps/v1
         kind: Deployment
         metadata:
           name: web-deployment
         spec:
           replicas: 2
           selector:
             matchLabels:
               app: web
           template:
             metadata:
               labels:
                 app: web
             spec:
               containers:
               - name: web
                 image: registry.openanolis.cn/openanolis/nginx:1.14.1-8.6
                 ports:
                 - containerPort: 80
                 volumeMounts:
                 - name: web-content
                   mountPath: /usr/share/nginx/html
               volumes:
               - name: web-content
                 configMap:
                   name: web-config
           
         
         ---
         apiVersion: v1
         kind: Service
         metadata:
           name: web-service
         spec:
           selector:
             app: web
           ports:
             - protocol: TCP
               port: 80
               targetPort: 80
           type: LoadBalancer
         
         
         ---
         apiVersion: v1
         kind: ConfigMap
         metadata:
           name: web-config
         data:
           index.html: |
             <!DOCTYPE html>
             <html lang="en">
             <head>
                 <meta charset="UTF-8">
                 <meta name="viewport" content="width=device-width, initial-scale=1.0">
                 <title>The simplest website service</title>
               
             </head>
             <body>
                 <h1>Welcome to my website!</h1>
             
             
                 <script type="module">
             import Chatbot from "https://cdn.jsdelivr.net/npm/flowise-embed/dist/web.js"
             Chatbot.init({
                 chatflowid: "86c03xxx-de3a-4xx3-9xx2-f5d56xxxx0a4",
                 apiHost: "http://127.xx.xx.1:8080",
             })
                 </script>
         
         
         
             </body>
             </html>

      2. Implantação bem-sucedida:

         

         No painel de navegação à esquerda do console do ACK, escolha Stateless e visualize os detalhes da carga de trabalho web-deployment. O namespace é default, as imagens dos dois pods são registry.openanolis.cn/openanolis/nginx:1.14.1-8.6, ambos os pods estão no estado Running e a contagem de prontos é 2/2. Isso indica que a implantação foi bem-sucedida.

      3. Habilite o acesso à Internet para o serviço implantado.

         Em produção, habilite o Access Control para proteger seus dados.

         No painel de navegação à esquerda, escolha Rede > Serviços. Encontre web-service e clique em Atualizar na coluna Actions. Na caixa de diálogo Update Service, selecione a aba LoadBalancer, defina o tipo de balanceador de carga como Classic Load Balancer (CLB), defina Select Resources como Criar novo, defina Access Method como Acesso à Internet e defina Billing Method como Pague conforme o uso. Em seguida, clique em OK.

         

         Após a configuração, encontre o External IP do web-service. Insira este IP no seu navegador para acessar o serviço web.

         

         Importante

         • Para acesso externo, certifique-se de que o grupo de segurança do cluster permita tráfego na porta 80. Consulte Adicionar uma regra de grupo de segurança.

         • Certifique-se de que seu código esteja protegido contra cross-site scripting (XSS) e injeção de código. Este é um exemplo básico; estenda e modifique conforme necessário.

      4. Visualize o resultado.

         

Melhoria contínua

Consulte Criar um assistente de perguntas e respostas de IA personalizado para um site usando o Dify.

Com o Dify, integre bases de conhecimento a aplicativos LLM para criar soluções de perguntas e respostas de IA personalizadas para o seu negócio.