As aplicações de Large Language Model (LLM) são desenvolvidas com base em modelos treinados com grandes volumes de dados e parâmetros para compreender e gerar linguagem natural semelhante à humana. Elas são amplamente usadas no processamento de linguagem natural, na geração de texto e em diálogos inteligentes.
As saídas do LLM costumam ser imprevisíveis devido a desafios como discrepâncias entre os resultados de treinamento e de produção, degradação de desempenho decorrente de mudanças na distribuição de dados, qualidade de dados desatualizados e fontes de dados externos não confiáveis. Portanto, monitorar a qualidade da saída do modelo é essencial para identificar rapidamente qualquer degradação.
O Application Real-Time Monitoring Service (ARMS) oferece suporte a automatic instrumentation of LLM applications through the ARMS agent for Python. Após integrar sua aplicação LLM ao ARMS, visualize diagramas de rastreamento para analisar entradas e saídas em diferentes tipos de operação e o consumo de tokens.
Tópicos relacionados às visualizações de monitoramento:
Tópicos relacionados a métricas e campos: