Setelah Anda menginstal agen Python untuk aplikasi large language model (LLM), Application Real-Time Monitoring Service (ARMS) akan mulai memantau aplikasi tersebut. Halaman Scenario-based analysis menampilkan daftar session dan penggunaan model untuk aplikasi LLM dalam rentang waktu tertentu.
Prasyarat
Agen untuk aplikasi LLM Anda harus telah diinstal. Untuk petunjuknya, lihat Menghubungkan aplikasi LLM atau layanan inferensi ke ARMS.
Analisis session
-
Klik kotak pencarian untuk memfilter session berdasarkan kriteria seperti Session ID, User, Session duration, Number of traces, Total tokens, Input tokens, dan Output tokens.
-
Klik nama session atau Details pada kolom Actions untuk melihat detail session.
Klik Trace ID untuk melihat detail jejak. Untuk informasi lebih lanjut, lihat Analisis jejak LLM.
Panel detail session menampilkan informasi dasar, termasuk Session ID, Session duration, Total tokens, Number of traces, Start time, User ID, dan Model. Area utama menampilkan grafik Gantt yang memvisualisasikan garis waktu seluruh jejak. Di bawah grafik tersebut terdapat daftar jejak individual yang menunjukkan konten input/output, Trace ID, konsumsi token, serta model yang digunakan.
Analisis model
Pilih model di bagian atas tab. Untuk informasi lebih lanjut mengenai metrik tersebut, lihat Referensi metrik LLM.
