Setelah menginstal ARMS agent untuk Python pada aplikasi Large Language Model (LLM), Application Real-Time Monitoring Service (ARMS) akan menganalisis data jejak aplikasi tersebut. Anda dapat melihat waktu yang dikonsumsi oleh berbagai jenis rentang dalam jejak LLM, serta informasi seperti input, output, dan konsumsi token di tab Trace Explorer pada halaman detail aplikasi.
Fitur LLM Trace Explorer saat ini sedang dalam pengujian beta. Jika Anda ingin mencoba fitur ini, silakan bergabung dengan grup DingTalk (ID: 67690017432) untuk mendapatkan bantuan.
Prasyarat
Sebuah ARMS agent telah diinstal untuk aplikasi LLM.
Filter data jejak
Masuk ke Konsol ARMS.
Di panel navigasi sebelah kiri, pilih .
Di halaman Trace Explorer, atur rentang waktu yang diinginkan untuk melakukan kueri di pojok kanan atas.
CatatanSecara default, Trace Explorer menggunakan Tampilan Model Besar (
ikon). Untuk beralih ke Tampilan Mikroservis, klik ikon 
.Filter data jejak:
Di bagian Quick Filter, filter jejak berdasarkan status, durasi, tipe rentang, nama antarmuka, atau nama model.
Kondisi filter yang ditentukan akan muncul di kotak pencarian di bagian atas halaman.
Klik kotak pencarian di bagian atas. Di kotak dialog drop-down, modifikasi kondisi filter yang ada atau tambahkan yang baru.
Masukkan langsung kondisi kueri di kotak pencarian di bagian atas. Untuk informasi tentang sintaks kueri, lihat Metode penggunaan Trace Explorer.
CatatanKlik ikon
di sisi kanan kotak pencarian untuk menyimpan kondisi filter saat ini.Klik Saved View di sisi kanan kotak pencarian untuk melihat kondisi filter yang disimpan. Klik kondisi filter yang diinginkan untuk melihat data jejak dengan cepat di bawah kondisi tersebut.
Pilih dimensi agregasi untuk mengelompokkan data yang difilter.
Daftar jejak
Setelah menetapkan kondisi filter, halaman Trace Explorer akan menampilkan data jejak LLM yang telah difilter, termasuk jumlah panggilan, token, persentil durasi, distribusi durasi, dan daftar jejak.
Daftar jejak menampilkan detail seperti ID jejak, konten input/output, nama antarmuka, tipe rentang, durasi, jumlah token, nama aplikasi, ID pengguna, ID sesi, dan waktu mulai. Di daftar jejak, Anda dapat melakukan operasi berikut:
Temukan jejak yang diinginkan dan klik Details di kolom Actions untuk melihat informasi jejak lengkap. Untuk informasi lebih lanjut, lihat Detail Jejak.
Temukan jejak yang diinginkan dan klik Logs di kolom Actions untuk melihat log.
Klik ikon
di pojok kanan atas untuk menyesuaikan bidang yang ditampilkan dalam daftar.Arahkan kursor ke bidang dan klik ikon
untuk menambahkan nilai bidang saat ini sebagai kondisi filter.
Detail jejak
Di tab Trace details pada panel yang muncul setelah mengklik jejak atau Details di kolom Actions, Anda dapat melihat garis waktu, waktu mulai, durasi total, serta detail seperti konten input/output, nama rentang, tipe rentang, durasi rentang, nama aplikasi, dan jumlah token.
Di tab Trace details, Anda dapat melakukan operasi berikut:
Arahkan kursor ke tag token untuk melihat data token secara rinci.
Klik nama rentang untuk melihat durasinya, waktu mulai, informasi tambahan, metrik, dan log. Jenis operasi yang berbeda mungkin menampilkan informasi yang bervariasi.
Informasi tambahan mencakup nama model, pertanyaan input, template Prompt, parameter pemanggilan, dan hasil balikan.
Untuk informasi tentang bidang Attributes, lihat Bidang jejak untuk aplikasi LLM.
Referensi
Untuk informasi tentang fitur Trace Explorer lainnya, lihat Trace Explorer.