As aplicações de Large Language Model (LLM) utilizam modelos treinados com grandes volumes de dados e parâmetros para compreender e gerar linguagem natural semelhante à humana. Essas soluções são amplamente adotadas em processamento de linguagem natural, geração de texto e diálogos inteligentes.
Os resultados de um LLM costumam ser imprevisíveis devido a desafios como discrepâncias entre os ambientes de treinamento e produção, degradação de desempenho causada por mudanças na distribuição dos dados, qualidade defasada das informações e fontes externas não confiáveis. Por isso, monitore a qualidade da saída do modelo para identificar rapidamente qualquer degradação.
O Application Real-Time Monitoring Service (ARMS) oferece suporte à instrumentação automática de aplicações LLM por meio do agente ARMS para Python. Após integrar sua aplicação LLM ao ARMS, visualize diagramas de rastreamento para analisar entradas e saídas em diferentes tipos de operação, além do consumo de tokens.
Tópicos relacionados às visualizações de monitoramento:
Tópicos relacionados a métricas e campos: