O DataAgent para múltiplas fontes e engines oferece o recurso de análise multifonte do AI Query no cliente AI Data Explorer. Ele analisa em conjunto dados de várias engines de dados e materiais de negócios locais em uma única conversa e retorna resultados de consultas, referências de conhecimento e visualizações.
Visão geral do recurso
O DataAgent para múltiplas fontes e engines foi projetado para cenários que exigem a análise conjunta de dados corporativos, arquivos de objeto e conhecimento local. Ele integra MaxCompute, Hologres, StarRocks, Milvus, object storage service (OSS), espaços de conhecimento e My Memories ao processo de análise do AI Query. Com base na pergunta, ele aciona consultas SQL, recuperações vetoriais, buscas de texto completo ou leituras de arquivos e combina os resultados das consultas, referências de conhecimento e visualizações. O DataAgent é composto por uma camada de interação, uma camada de capacidade e uma camada de dados. A figura a seguir mostra as relações entre essas camadas.

Pré-requisitos
O Get started with the AI data exploration client está instalado.
Os endereços de conexão e as credenciais de acesso das fontes de dados necessárias estão disponíveis.
O service de IA integrado do MaxCompute está ativado ou uma chave de API do Model Studio está configurada em Settings > AI Configuration.
Início rápido
Clique em Data Source Connections na barra de atividades à esquerda e crie uma conexão para uma fonte de dados MaxCompute, Hologres, StarRocks, Milvus ou OSS.
Em Knowledge and Memory, adicione a pasta local que armazena materiais para análise conjunta e crie um espaço de conhecimento.
visualize e analise dados com o Catalog, o editor SQL, o Milvus Retrieval Builder ou a página de gerenciamento de buckets do OSS.
Faça perguntas de negócios de seu interesse continuamente no AI Query e visualize os resultados de consultas, recuperações e visualizações.
Conectar a fontes de dados
Criar uma conexão
Clique em Data Source Connections na barra de atividades à esquerda.
Clique em + na parte superior do painel.
Selecione um tipo de fonte de dados e um método de autenticação.
configure os parâmetros de conexão e clique em Test Connection.
Clique em Save and Connect.
Após o estabelecimento da conexão, visualize o status e os detalhes no painel Data Source Connections, ou conecte, desconecte e exclua a fonte de dados.
Configurar fontes de dados
MaxCompute
|
Método de autenticação |
Parâmetros |
Cenário |
|
OAuth |
Região ou endpoint, nome do projeto, site da conta (site da China ou site internacional); conclua a autorização no navegador e faça login no primeiro uso |
Nenhum AccessKey é necessário. Após a autorização no navegador, as credenciais são atualizadas automaticamente com base no período de validade delas. |
|
Autenticação por AccessKey |
Região ou endpoint, nome do projeto, AccessKey ID e AccessKey Secret |
Conecte-se a um projeto com credenciais de longo prazo |
|
Autenticação por credenciais temporárias STS |
Região ou endpoint, nome do projeto, STS AccessKey ID, STS AccessKey Secret e Security Token |
Conecte-se a um projeto com credenciais temporárias |
Hologres
|
Parâmetro |
Descrição |
|
Nome da conexão |
Identifica a conexão na lista de conexões |
|
Endereço do host |
Nome de domínio da instância do Hologres |
|
Porta |
Padrão: |
|
Nome do banco de dados |
Banco de dados ao qual se conectar |
|
AccessKey ID |
AccessKey ID com permissões para acessar o banco de dados |
|
AccessKey Secret |
AccessKey Secret correspondente ao AccessKey ID |
StarRocks
|
Parâmetro |
Descrição |
|
Nome da conexão |
Identifica a conexão na lista de conexões |
|
Endereço do host |
Endereço do nó FE do StarRocks |
|
Porta |
Padrão: |
|
Nome do banco de dados |
especifique um nome de banco de dados para limitar o acesso a um único banco de dados. Deixe este parâmetro vazio para selecione um banco de dados no Catalog. |
|
Nome de usuário |
Nome de usuário do banco de dados |
|
Senha |
Senha do banco de dados |
Milvus
|
Parâmetro |
Descrição |
|
Nome da conexão |
Identifica a conexão na lista de conexões |
|
Endereço do host |
Endereço do service do Milvus |
|
Porta |
Padrão: |
|
Nome do banco de dados |
especifique um nome de banco de dados para limitar o acesso a um único banco de dados. Deixe este parâmetro vazio para navegar por todos os bancos de dados. |
|
Nome de usuário |
Nome de usuário do Milvus |
|
Senha |
Senha do Milvus |
|
ative TLS |
Ative esta opção ao se conectar a um endereço de service no qual o TLS está ativado |
object storage service (OSS)
|
Parâmetro |
Descrição |
|
Nome da conexão |
Identifica a conexão na lista de conexões |
|
Método de autenticação |
Autenticação por AccessKey ou autenticação por credenciais temporárias STS |
|
Região ou endpoint |
Região onde o bucket está localizado ou um endpoint personalizado |
|
AccessKey ID |
AccessKey ID ou STS AccessKey ID |
|
AccessKey Secret |
AccessKey Secret ou STS AccessKey Secret |
|
Security Token |
Token de segurança das credenciais temporárias STS |
|
Bucket |
especifique um nome de bucket para limitar o acesso a um único bucket. Deixe este parâmetro vazio para navegar pelos buckets acessíveis. |
Para usar um armazenamento compatível com S3, selecione um endpoint personalizado nas opções de região e insira o endereço do service.
Navegar pelo Catalog
O Catalog exibe diferentes níveis de acordo com o tipo de fonte de dados. Expanda os nós para visualizar tabelas, coleções, campos, buckets e diretórios de objetos.
|
Fonte de dados |
Hierarquia do Catalog |
Operações comuns |
|
MaxCompute |
Project > Schema > Table > Column |
Gere uma consulta, abra os detalhes da tabela e visualize os dados |
|
Hologres |
Database > Schema > Table > Column |
Gere uma instrução SELECT e abra os detalhes da tabela |
|
StarRocks |
Database > Table > Column |
Gere uma instrução SELECT e abra os detalhes da tabela |
|
Milvus |
Database > Collections > Collection > Field |
visualize campos, abra os detalhes e gere uma consulta |
|
OSS |
Bucket > Directory > Object |
Abra a página de gerenciamento do bucket e navegue pelos arquivos |
Consultar, recuperar e analisar dados
Executar consultas SQL
|
Fonte de dados |
Local do script |
SQL |
|
MaxCompute |
Diretório raiz de scripts SQL |
ODPS SQL |
|
Hologres |
|
SQL compatível com PostgreSQL |
|
StarRocks |
|
SQL compatível com MySQL |
crie ou abra um arquivo SQL.
Selecione uma conexão na parte superior do editor.
Insira uma instrução SQL ou gere uma consulta a partir do Catalog.
execute o script inteiro, o conteúdo selecionado ou a instrução na posição do cursor.
visualize os dados e as informações de diagnóstico na seção de resultados.
Executar recuperação no Milvus
O Retrieval Builder gera scripts de operação json do Milvus a partir de um formulário. Selecione uma coleção em todos os modos. Depois de selecionar uma coleção, ajuste os campos de saída conforme necessário.
|
Modo |
Cenário |
|
Recuperar por ID |
Encontre dados semelhantes aos registros de chave primária existentes |
|
Busca de texto completo |
Retorne correspondências de texto completo com base em palavras-chave de texto |
|
Consulta condicional |
Consulte registros com base em condições escalares |
|
Obter por ID |
Leia registros com base em uma ou mais chaves primárias |
Selecione uma conexão do Milvus na parte superior do editor.
Expanda Retrieval Builder e selecione uma coleção.
Selecione um modo de recuperação e configure as entradas necessárias.
Selecione os campos de saída para os resultados conforme necessário.
Clique em Generate Script para inserir o script json no editor ou clique em Run para execute-o diretamente.
gerencie objetos do OSS
Na página de gerenciamento de buckets do OSS, navegue pelos objetos nas exibições de coluna, lista ou grade; crie pastas; envie, baixe, renomeie ou exclua arquivos; e visualize o progresso da transferência e o conteúdo de pré-visualização. O AI Query lista buckets e objetos, lê amostras de arquivos e gera SQL de consulta do MaxCompute ou DDL de tabela externa.
Visualizar resultados e visualizações
Depois de executar uma consulta SQL ou recuperação, alterne as visualizações de acordo com o tipo de resultado:
Table and json: visualize linhas e colunas brutas ou respostas estruturadas.
Charts: Exiba resultados em gráficos de barras, linhas, áreas, pizza, dispersão, radar, treemaps, funil, diagramas de Sankey, diagramas de relacionamento, gráficos 3D, cartões de métrica e outros tipos de gráficos.
Pivot and quality analysis: Agregue dimensões e métricas, e visualize valores nulos, distribuições e anomalias.
Vector analysis: visualize distribuições de distância, vizinhos mais próximos, análise de componentes principais e mapas de calor.
Execution diagnostics: visualize os logs de execução e o Logview do MaxCompute, ou visualize as informações de monitoramento de jobs do Hologres, StarRocks e Milvus.
Depois de configurar um gráfico, fixe-o em um painel para análises adicionais. Para mais informações, consulte Create dashboards.
Knowledge and Memory
Um espaço de conhecimento converte materiais locais em uma fonte de conhecimento pesquisável. O My Memories armazena preferências, fatos e convenções de negócios reutilizáveis em várias conversas.
Criar um espaço de conhecimento
Abra Knowledge and Memory na barra à esquerda.
Clique em + e selecione a pasta que contém os materiais.
Confirme o nome do espaço, o modelo vetorial, os tipos de arquivo e a opção de sincronização agendada.
Clique em Create and Sync.
Aguarde até que o status do espaço exiba o número de fontes sincronizadas.
Depois de concluir a sincronização, pesquise os materiais no espaço com linguagem natural, visualize trechos referenciados agrupados por documento, pré-visualize os arquivos originais e sincronize manual ou periodicamente os arquivos alterados.
gerencie My Memories
A IA salve memórias durante as conversas, e você também pode criá-las manualmente no My Memories.
Abra Knowledge and Memory > My Memories.
Clique em New Memory e configure o assunto, o relacionamento, o conteúdo e as tags.
Clique em Save.
A lista de memórias oferece suporte a pesquisas, filtragem por tags, agrupamento por data e fixação. Depois de selecionar uma memória, edite o conteúdo e as tags dela, ou exclua a memória se ela não for mais necessária. Os rótulos de source distinguem o conteúdo adicionado manualmente do conteúdo gerado pela IA.
Usar o AI Query para análise conjunta
O AI Query é o ponto de entrada em linguagem natural para o DataAgent. Com base na pergunta, ele usa as conexões de fontes de dados disponíveis, o Catalog, os espaços de conhecimento e as memórias para executar consultas, recuperar dados ou ler arquivos e, então, combina resultados de várias fontes.
Cenários
Análise conjunta de dados de negócios e materiais de políticas: Consulte métricas de data warehouse e recupere definições de métricas e descrições de políticas a partir de documentos de negócios.
Comparação de dados em tempo real e offline: Compare os resultados offline do MaxCompute com os dados em tempo real do Hologres e StarRocks para identificar diferenças nas definições ou na atualidade dos dados.
Recuperação semântica e verificação de detalhes: Recupere conteúdo relevante do Milvus ou de um espaço de conhecimento e, em seguida, consulte tabelas de dados para verifique conclusões.
Análise de arquivos de objeto e dados de data warehouse: Leia amostras de arquivos do OSS e analise em conjunto com dados de tabelas na cloud.
Reutilização contínua do contexto de negócios: Use definições, preferências e fatos comuns no My Memories para interpretar resultados subsequentes.
Iniciar uma análise multifonte
especifique o objetivo da análise e o intervalo de tempo no AI Query.
Defina as engines de dados, espaços de conhecimento ou objetos do OSS a serem usados.
Revise o cartão de aprovação para operações de gravação, exclusão ou modificação de arquivos.
visualize os resultados das consultas, trechos referenciados e visualizações retornados pelo DataAgent.
Faça perguntas de acompanhamento sobre definições de métricas, origens de anomalias ou dimensões de detalhamento.
Exemplos de perguntas:
Explain the change in gross profit this month based on the MaxCompute sales details and the promotion rules in the knowledge space.Compare Hologres real-time orders with the MaxCompute daily settlement table and identify the channel with the largest difference.First, find similar complaints in Milvus. Then, use StarRocks to calculate the trend over the past 7 days for the corresponding causes.Read a sample of the sales file in OSS and aggregate the data based on the regional definitions in My Memories.