Build ChatBI with Dify and NL2SQL - Data Management: Central de Documentação do Alibaba Cloud

O ChatBI, desenvolvido no Dify sobre o Data Management Service (DMS) com NL2SQL, redefine a análise de dados. Essa solução utiliza ferramentas de IA para compreender perguntas dos usuários e responder em linguagem natural. Em seguida, converte a linguagem natural em SQL por meio do NL2SQL, executa o SQL no Dify e exibe os resultados visualmente. O ChatBI estende as capacidades de análise de dados além das equipes técnicas para todos os colaboradores, aumenta a velocidade de resposta dos negócios e facilita a obtenção de insights a partir dos dados.

Pré-requisitos

Você já implantou o Dify.
Verifique se a sua instância do Dify no DMS está na versão 1.4.3 ou posterior. Para mais informações, consulte Visualize a versão do Dify.

Etapa 1: Instale o plugin AliyunDMS

Faça login no DMS 5.0.
Passe o ponteiro do mouse sobre o ícone no canto superior esquerdo e escolha All Features > Data+AI > Dify.

Nota
Caso utilize o console do DMS no modo normal, escolha Data+AI > Dify na barra de navegação superior.
Clique em no nome do workspace desejado.
No painel de navegação à esquerda do workspace, escolha > Studio.
No canto superior direito, clique em Plugins e, em seguida, clique em Install plugin.
Selecione a source de instalação e instale os plugins Qwen e AliyunDMS.
- Instale o plugin Qwen a partir do Marketplace.
- Instale o plugin AliyunDMS a partir de DMS Plugins.
Aguarde a conclusão da instalação dos plugins.

A instalação será bem-sucedida quando os plugins AliyunDMS e Qwen aparecerem na lista de plugins.

Etapa 2: Autorizar o plugin AliyunDMS

Clique em no plugin AliyunDMS e, em seguida, clique em Authorize.
Dependendo da edição do plugin que você pretende usar, decida se deve configurar a DMS API key.
Nota
- Se precisar apenas da Basic Edition do DMS SQL Executor, não é necessário inserir uma DMS API key. Clique em Save.
- Para utilizar plugins da Enterprise Edition, como o Enterprise SQL Executor ou o algoritmo Enterprise NL2SQL, é obrigatório inserir uma DMS API key. A DMS API key é composta pelo AccessKey ID e AccessKey Secret da conta Alibaba Cloud atualmente conectada ao DMS. O formato é <AccessKey ID>:<AccessKey Secret>.
Clique em Save.

A autorização será confirmada quando Authorized aparecer na página do componente.

Etapa 3: Configure uma API key para o modelo Qwen

Na página Studio, clique em no nome da sua conta e escolha Settings.
Na página Model Providers, clique em Set ao lado do modelo Qwen e configure sua API key.

Acesse o Alibaba Cloud Model Studio para obter uma API key.
Clique em Save.

Etapa 4: Aplicar o modelo ChatBI

Na página Studio > All, clique em Create from Template.
No painel de navegação à esquerda, clique em DMS Data+AI.

O DMS oferece uma série de modelos integrados.
Passe o mouse sobre o cartão ChatBI Quick Start (Integrated Edition) e clique em Use This Template exibido no cartão.
Na caixa de diálogo exibida, clique em Create.

A criação será bem-sucedida quando o bloco ChatBI Quick Start aparecer na página.

Etapa 5: Execute a demonstração

Clique em no modelo ChatBI Quick Start.

O modelo ChatBI possui um conjunto de dados de demonstração integrado. Clique em Preview no canto superior direito para testar o Agente ChatBI.
Clique em Preview no canto superior direito para experimentar o Agente ChatBI.

Faça perguntas ao agente para consultar dados relacionados.

Na janela de visualização, o Agente ChatBI envia uma mensagem de boas-vindas e sugere perguntas, como Tell me what data is in the table, How many rows of data are in the table?, What are the sales volume and price trends for October 2023? e What are the top 10 product categories by sales volume and their sales figures?. Insira uma pergunta na caixa de entrada na parte inferior e clique em no botão Enviar para iniciar a conversa.

Etapa 6: Configure seu próprio aplicativo ChatBI

Clique em para editar a variável db_connection_url. Substitua o valor pelo endpoint interno ou público do banco de dados de destino.

Clique em no botão ENV na barra de ferramentas superior para abrir o painel de variáveis de ambiente. Em seguida, clique em no ícone de lápis ao lado da entrada db_connection_url para editá-la.

Nota
A variável db_connection_url é uma variável de ambiente global usada no workflow. Quando o valor da variável é demo_db, o conjunto de dados integrado do plugin é carregado automaticamente.

Os tipos de banco de dados e formatos de endpoint compatíveis são:
- MySQL: mysql+pymysql://<user>:<password>@<host>:<port>/<database>
- PostgreSQL: postgresql+psycopg2://<user>:<password>@<host>:<port>/<database>
- SQL Server: mssql+pymssql://<user>:<password>@<host>:<port>/<database>
- Oracle: oracle+oracledb://<user>:<password>@<host>:<port>/<service_name>
- Clickhouse: clickhouse+native://<user>:<password>@<host>:<port>/<database>
- MongoDB: mongodb://<user>:<password>@<host>:<port>/<database>
Clique em Save.
De acordo com o método de conexão do seu banco de dados, adicione o IP de saída ou o endereço IP interno do Dify à lista de permissões do banco de dados.
- Para conexões via internet, adicione o IP de saída público do Dify à lista de permissões do banco de dados.
  
  Execute o nó Query DIFY Public Egress IP para obter o endereço IP.
  
  Este workflow contém tanto um nó AliyunDMS quanto um nó de código Query DIFY Public Egress IP. Na tela de edição do workflow, selecione e execute este nó de código.
- Para conexões via VPC, adicione o bloco CIDR IPv4 da VPC onde o Dify está localizado à lista de permissões do banco de dados.
Após adicionar o endereço IP, clique em Preview e faça perguntas ao agente sobre os dados no banco de dados de destino.

Plugins AliyunDMS Enterprise e Basic

Nome do plugin	Descrição	ChatBI Enterprise edition	ChatBI Basic edition
DMS NL2SQL (Basic Edition)	Algoritmo NL2SQL integrado (Agile Edition). Um algoritmo ágil de conversão de linguagem natural para SQL com saída de resultados SQL em tempo real e streaming.	√	√
DMS NL2SQL (Enterprise Edition)	Algoritmo NL2SQL integrado (Enterprise Edition) com os seguintes recursos: Oferece uma interface simples e intuitiva para configuração da base de conhecimento. Algoritmo avançado de linguagem natural para SQL, garantindo conversão precisa de consultas. Dispensa configuração de conta ou senha do banco de dados.	√	×
DMS SQL Executor (Basic Edition)	Conecta-se a um banco de dados e executa SQL usando credenciais de banco de dados. Compatível com bancos de dados MySQL, PostgreSQL, SQL Server, Oracle, ClickHouse e MongoDB.	√	√
DMS SQL Executor (Enterprise Edition)	Utiliza autenticação sem senha, eliminando a necessidade de configurar credenciais de banco de dados no workflow e prevenindo vazamento de credenciais. Compatível com conexão a mais de 30 fontes de dados principais. Recursos robustos de controle empresarial: Gerenciamento granular de permissões de acesso a recursos. Rastreamento completo de auditoria. Verificações rigorosas de conformidade de SQL.	√	×
DMS Data Visualization	Converte resultados de execução SQL em gráficos ECharts, com suporte a gráficos de barras, linhas, pizza e tabelas.	√	√

Usar o ChatBI Enterprise Edition

Para utilizar o modelo ChatBI Enterprise Edition, selecione o modelo ChatBI Quick Start (Enterprise Edition) na Etapa 4: Aplicar o modelo ChatBI para criar o aplicativo correspondente.

Observações

Antes de usar os recursos do ChatBI Enterprise Edition, certifique-se de que a DMS API KEY do plugin AliyunDMS foi criada pela conta Alibaba Cloud atualmente conectada ao DMS.

Configuração do plugin Enterprise Edition

DMS NL2SQL

Antes de configurar este plugin, adicione a instância de banco de dados de destino ao DMS e ative a hospedagem segura para a instância.

Descrição dos parâmetros:

Question: Insira a consulta em linguagem natural a ser convertida para SQL.
DMS-hosted database: Selecione o tipo e o nome do banco de dados hospedado no DMS.
DMS API KEY: A chave de API do DMS necessária para chamar o plugin. Se um valor for inserido aqui, ele substituirá a chave de API do DMS informada durante a autorização do plugin.
Domain knowledge: Insira conhecimentos específicos do domínio do seu cenário de negócios para melhorar a precisão do NL2SQL.
Model: Selecione o modelo de linguagem grande (LLM) usado para gerar SQL. Por padrão, DMS-AI/XiYan-SQL-32B é utilizado. Ao escolher o modelo adaptativo, o algoritmo NL2SQL seleciona automaticamente um modelo adequado com base na dificuldade da consulta.
Privately deployed model: O ID de um modelo implantado privadamente.
Reasoning Effort: O nível de esforço de raciocínio para o algoritmo NL2SQL. Um nível maior aumenta o tempo necessário para gerar SQL. Escolha entre Standard (Recommended), Enhanced ou Complex. A configuração padrão é Standard (Recommended), que oferece desempenho equilibrado.

DMS SQL Executor

Descrição dos parâmetros:

SQL: A instrução SQL a ser executada.
DMS-hosted database: Selecione o tipo e o nome do banco de dados hospedado no DMS.
DMS API KEY: A chave de API do DMS necessária para chamar o plugin. Se um valor for inserido aqui, ele substituirá a chave de API do DMS informada durante a autorização do plugin.
Region ID: Selecione a região onde o Dify está localizado.
Output Format: Escolha entre Markdown ou JSON. O padrão atual é Markdown.
Timeout: O período de tempo limite para execução do SQL.