Application Real-Time Monitoring Service (ARMS) dapat memantau aplikasi model bahasa besar (LLM) Anda setelah menginstal agen ARMS untuk Python. Anda dapat melihat daftar sesi dan penggunaan model untuk aplikasi dalam periode waktu tertentu di halaman Scenario-based Analysis.
Prasyarat
Agen ARMS telah diinstal untuk aplikasi LLM Anda. Untuk informasi lebih lanjut, lihat Monitor LLM applications and inference services in ARMS.
Analisis sesi
Klik kotak pencarian di bagian atas. Di menu drop-down, filter sesi berdasarkan kondisi seperti ID sesi, pengguna, durasi sesi, jumlah jejak, total token, token input, dan token output.
Klik nama sesi atau Details di kolom Actions untuk melihat detail sesi.
Di halaman yang muncul, klik ID jejak untuk melihat detail jejak. Untuk informasi lebih lanjut, lihat LLM Trace Explorer.
Analisis model
Di pojok kiri atas halaman tab, pilih model yang ingin dianalisis. Untuk informasi tentang metrik aplikasi LLM, lihat LLM metrics.
