Todos os produtos
Search

Este produto

    Tablestore:Use EAS and Tablestore to deploy a RAG-based LLM chatbot

    Central de documentação

    Tablestore:Use EAS and Tablestore to deploy a RAG-based LLM chatbot

    Última atualização: Sep 22, 2026

    Ao implantar um chatbot de modelo de linguagem grande (LLM) baseado em Geração Aumentada por Recuperação (RAG) no Platform for AI (pai), use o Tablestore como banco de dados vetorial. Este tópico descreve como usar o Tablestore como banco de dados vetorial de um chatbot de LLM baseado em RAG implantado por meio de configurações JSON.

    Informações de contexto

    EAS

    O pai oferece uma plataforma completa para desenvolvimento e implantação de modelos. O módulo Elastic Algorithm Service (EAS) do PAI permite implantar modelos como service de inferência online usando o grupo de recursos público ou grupos de recursos dedicados. Os modelos são carregados em hardware heterogêneo (CPUs e GPUs) para gerar respostas em tempo real.

    Tablestore

    O Tablestore é um sistema de alto desempenho e custo-benefício para armazenamento e recuperação de dados em massa. Ele oferece recursos de recuperação vetorial com alta taxa de recuperação (recuperação multimodal e mista de escalares e vetores) e alto desempenho (indexação em tempo real, consultas em milissegundos e suporte a até 10 bilhões de vetores por tabela). Isso garante a estabilidade e a segurança do service (VPC dedicada, 99,99% de disponibilidade e 12 noves de confiabilidade de dados).

    RAG

    O RAG recupera informações relevantes de bases de conhecimento externas, combina essas informações com a entrada do usuário e passa a entrada combinada para os LLMs. Isso aprimora a capacidade de perguntas e respostas baseadas em conhecimento dos LLMs em domínios específicos. A figura a seguir mostra como fazer upload, armazenar e recuperar arquivos da base de conhecimento quando o Tablestore é usado como banco de dados vetorial de uma aplicação RAG.

    image

    Notas de uso

    Neste exemplo, o modelo de LLM DeepSeek-R1-Distill-Qwen-1.5B é implantado em uma instância do tipo ecs.gn7i-c16g1.4xlarge. Para obter informações sobre o método de faturamento do EAS, consulte Elastic Algorithm Service (EAS) billing.

    Importante

    Se o seu objetivo for apenas testar o processo de implantação, exclua o service implantado imediatamente após a implantação para evitar cobranças inesperadas de recursos.

    Procedimento

    Etapa 1: Preparar um banco de dados vetorial do Tablestore

    ative o Tablestore

    Se o Tablestore já estiver ativado, ignore esta etapa.

    1. acesse a página do produto.

    2. clique em Activate for Free.

    3. Na página Table Store (Pay-As-You-Go), clique em Buy Now.

    4. Na página confirme Order, leia os Termos de Serviço, selecione I have read and agree to the Table Store (Pay-As-You-Go) Terms of Service e clique em Activate Now.

    5. Após a ativação do service, clique em gerencie Console para abrir o Tablestore console.

    crie uma instância do Tablestore

    Você também pode selecionar uma instância existente como banco de dados vetorial. Nesse caso, prepare informações como o nome da instância, o endpoint da Virtual Private Cloud (VPC) e um par de AccessKey com permissões de acesso à instância.

    1. Faça login no console do Tablestore.

    2. Na parte superior da página, selecione um grupo de recursos e uma região e clique em Create Instance.

    3. Na caixa de diálogo Billing Method, insira um Instance Name, selecione um Instance Type e clique em OK.

    Obter informações de conexão

    1. Clique no nome da instância ou em gerencie Instance para acessar a aba Instance Details. Nessa aba, visualize a URL de acesso e o nome da instância.

      Nota

      Use o endpoint da VPC como a URL de acesso da instância.

    2. crie um AccessKey para sua conta alibaba cloud ou usuário ram com permissões de acesso ao Tablestore.

    Etapa 2: Usar o EAS para implantar o chatbot de LLM baseado em RAG

    1. Activate PAI and create a default workspace.

      Importante

      Ative o PAI na mesma região da instância do Tablestore.

    2. No painel de navegação à esquerda do PAI console, escolha Model Deployment > Elastic Algorithm Service (EAS).

    3. Na página Elastic Algorithm Service (EAS), clique em Deploy Service. Na página exibida, clique em JSON Deployment.

    4. Na página JSON Deployment, insira as configurações de implantação e clique em Deploy. Na mensagem exibida, clique em OK.

    Após a conclusão das etapas anteriores, o sistema inicia imediatamente a implantação do chatbot de LLM baseado em RAG. Todo o processo leva cerca de 5 minutos. Após a conclusão, o status do service muda para Running.

    Se a tabela de dados vetoriais especificada não existir, o sistema cria automaticamente uma tabela de dados e configura índices de pesquisa para a instância do Tablestore durante a implantação.

    Arquivo de configuração de exemplo e descrição dos parâmetros

    Arquivo de configuração de exemplo

    {
  "SupportedInstanceTypes": [
      "ecs.gn7i-c16g1.4xlarge",
      "ecs.gn7i-c32g1.16xlarge",
      "ecs.gn7i-c32g1.32xlarge",
      "ecs.gn7i-c32g1.8xlarge",
      "ecs.gn7i-c8g1.2xlarge",
      "ecs.gn7i-c8g1.2xlarge.limit",
      "ecs.gn8is-2x.8xlarge",
      "ecs.gn8is-4x.16xlarge",
      "ecs.gn8is-8x.32xlarge",
      "ecs.gn8is.2xlarge",
      "ecs.gn8is.4xlarge",
      "ecs.gn8v.6xlarge",
      "ecs.gn8v-2x.12xlarge",
      "ecs.gn8v-4x.24xlarge",
      "ecs.gn8v-8x.48xlarge",
      "ml.gu7i.c128m752.4-gu30",
      "ml.gu7i.c16m60.1-gu30",
      "ml.gu7i.c32m188.1-gu30",
      "ml.gu7i.c64m376.2-gu30",
      "ml.gu7i.c8m30.1-gu30",
      "ml.gu8is.c128m1024.8-gu60",
      "ml.gu8is.c16m128.1-gu60",
      "ml.gu8is.c32m256.2-gu60",
      "ml.gu8is.c64m512.4-gu60",
      "ml.gu8v.c192m1024.8-gu120",
      "ml.gu8v.c24m128.1-gu120",
      "ml.gu8v.c48m256.2-gu120",
      "ml.gu8v.c96m512.4-gu120"
  ],
  "cloud": {
      "computing": {
          "instances": [
              {
                  "type": "ecs.gn7i-c16g1.4xlarge"
              }
          ]
      },
      "networking": {
          "security_group_id": "sg-bp****************dj",
          "vpc_id": "vpc-bp*****************po",
          "vswitch_id": "vsw-bp*****************eu"
      }
  },
  "containers": [
      {
          "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/pai-rag:0.2.0-nginx",
          "port": 8680,
          "script": "/docker-entrypoint.sh nginx"
      },
      {
          "env": [
              {
                  "name": "PAIRAG_RAG__SETTING__interactive",
                  "value": "false"
              }
          ],
          "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/pai-rag:0.2.0-ui",
          "port": 8002,
          "script": "pai_rag ui"
      },
      {
          "env": [
              {
                  "name": "PAIRAG_RAG__INDEX__VECTOR_STORE__type",
                  "value": "tablestore"
              },
              {
                  "name": "PAIRAG_RAG__INDEX__VECTOR_STORE__endpoint",
                  "value": "https://d0********9c.cn-hangzhou.vpc.tablestore.aliyuncs.com"
              },
              {
                  "name": "PAIRAG_RAG__INDEX__VECTOR_STORE__instance_name",
                  "value": "d0********9c"
              },
              {
                  "name": "PAIRAG_RAG__INDEX__VECTOR_STORE__access_key_id",
                  "value": "LT********************u7"
              },
              {
                  "name": "PAIRAG_RAG__INDEX__VECTOR_STORE__access_key_secret",
                  "value": "nI**************************GF"
              },
              {
                  "name": "PAIRAG_RAG__INDEX__VECTOR_STORE__table_name",
                  "value": "pai_rag"
              },
              {
                  "name": "PAIRAG_RAG__DATA_READER__enable_image_ocr",
                  "value": "false"
              },
              {
                  "name": "PAIRAG_RAG__LLM__source",
                  "value": "PaiEas"
              },
              {
                  "name": "PAIRAG_RAG__LLM__endpoint",
                  "value": "http://127.0.0.1:8000"
              },
              {
                  "name": "PAIRAG_RAG__LLM__token",
                  "value": "abc"
              },
              {
                  "name": "PAIRAG_RAG__EMBEDDING__source",
                  "value": "HuggingFace"
              },
              {
                  "name": "PAIRAG_RAG__EMBEDDING__model_name",
                  "value": "bge-small-zh-v1.5"
              }
          ],
          "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/pai-rag:0.2.0",
          "port": 8001,
          "script": "pai_rag serve"
      },
      {
          "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/sglang:v0.4.1.post6-cu124_netcat_accelerated",
          "port": 8000,
          "script": "gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l); python3 -m sglang.launch_server --model-path /model_dir --host 0.0.0.0 --port 8000 --tp $gpu_count --trust-remote-code --enable-metrics --served-model-name DeepSeek-R1-Distill-Qwen-1.5B"
      }
  ],
  "labels": {
      "PAI_RAG_VERSION": "0.1_custom",
      "system_eas_deployment_type": "rag",
      "system_eas_rag_open_source_model_acc_type": "SGLang-Accelerate:Single-Node-Standard",
      "system_eas_rag_open_source_model_name": "DeepSeek-R1-Distill-Qwen-1.5B"
  },
  "metadata": {
      "cpu": 16,
      "enable_webservice": true,
      "gpu": 1,
      "instance": 1,
      "memory": 60000,
      "name": "rag_tablestore",
      "rpc": {
          "keepalive": 900000000
      },
      "shm_size": 100
  },
  "storage": [
      {
          "mount_path": "/model_dir/",
          "oss": {
              "endpoint": "cn-hangzhou-internal.oss-data-acc.aliyuncs.com",
              "path": "oss://pai-quickstart-cn-hangzhou/modelscope/models/DeepSeek-R1-Distill-Qwen-1.5B/"
          },
          "properties": {
              "resource_type": "model",
              "resource_use": "base"
          }
      }
  ]
}

    Descrição dos parâmetros

    • Configurações do banco de dados vetorial

      Use environment variables para adicionar as configurações do banco de dados vetorial. A tabela a seguir lista as variáveis de ambiente necessárias.

      Variável de ambiente

      Descrição

      PAIRAG_RAG__INDEX__VECTOR_STORE__type

      O tipo de banco de dados vetorial, fixo como tablestore.

      PAIRAG_RAG__INDEX__VECTOR_STORE__endpoint

      O endpoint da instância do Tablestore.

      PAIRAG_RAG__INDEX__VECTOR_STORE__instance_name

      O nome da instância do Tablestore.

      PAIRAG_RAG__INDEX__VECTOR_STORE__access_key_id

      O AccessKey ID da sua conta alibaba cloud ou do usuário ram.

      PAIRAG_RAG__INDEX__VECTOR_STORE__access_key_secret

      O AccessKey secret da sua conta alibaba cloud ou do usuário ram.

      PAIRAG_RAG__INDEX__VECTOR_STORE__table_name

      O nome da tabela de source que armazena os vetores.

    • Configurações de VPC

      Use cloud.networking para adicionar as configurações de VPC. Se uma VPC específica não for necessária, exclua as configurações relacionadas do arquivo de configuração de exemplo.

      Parâmetro

      Descrição

      vpc_id

      O ID da VPC.

      vswitch_id

      O ID do vSwitch.

      security_group_id

      O ID do grupo de segurança.

    Para obter mais informações sobre outros parâmetros de implantação do EAS, consulte JSON deployment.

    Etapa 3: Usar o chatbot de LLM baseado em RAG

    1. Na lista de service, localize o service implantado e clique em View Web App na coluna Service Type. Na caixa de diálogo exibida, clique em Web App.

    2. Na aba Upload do PAI-RAG Dashboard, faça upload de um arquivo da base de conhecimento.

      image

      Após a análise e o upload do arquivo da base de conhecimento, visualize os dados vetoriais gravados no arquivo no console do Tablestore.

    3. Na aba Chat do PAI-RAG Dashboard, insira uma pergunta e clique em Submit para iniciar uma conversa.

    Para obter mais informações sobre a depuração da interface web, como alterar o banco de dados vetorial, o LLM e os tipos de arquivo suportados pela base de conhecimento, consulte RAG-based LLM chatbot.