Setelah menginstal agen ARMS untuk Python pada aplikasi Large Language Model (LLM), Application Real-Time Monitoring Service (ARMS) dapat mulai memantau aplikasi tersebut. Anda dapat melihat penggunaan token di tab Analisis Token pada halaman detail aplikasi.
Dalam aplikasi LLM, token merupakan unit dasar pemrosesan teks yang mewakili unit semantik terkecil dari input dan output LLM. Sebuah token bisa berupa kata, subkata, atau karakter, bergantung pada pemisah kata yang digunakan oleh LLM.
Prasyarat
Agen ARMS telah diinstal untuk aplikasi LLM. Untuk informasi lebih lanjut, lihat Pemantauan aplikasi LLM dan layanan inferensi di ARMS.
Pergi ke tab Analisis Token
Di bilah navigasi atas, klik tab Analisis Token.
Panel
Deskripsi
Penggunaan Token
Jumlah total token yang dikonsumsi oleh semua pemanggilan LLM dalam periode waktu tertentu.
Rata-rata token per panggilan LLM
Rata-rata jumlah token yang dikonsumsi per pemanggilan LLM.
Rata-rata token per permintaan
Rata-rata jumlah token yang dikonsumsi per permintaan pengguna.
Konsumsi Token/1m
Jumlah total token yang dikonsumsi oleh semua pemanggilan LLM per menit.
Rata-rata token per panggilan LLM/1m
Rata-rata jumlah token yang dikonsumsi per pemanggilan LLM per menit.
Rata-rata token per permintaan/1m
Rata-rata jumlah token yang dikonsumsi per permintaan pengguna per menit.
Peringkat Konsumsi Token Model (Top5)
Menampilkan 5 LLM dengan konsumsi token tertinggi, diurutkan dari tinggi ke rendah.
Peringkat Sesi Penggunaan Token (Top5)
Menampilkan 5 sesi dengan konsumsi token tertinggi, diurutkan dari tinggi ke rendah.
Peringkat Pengguna Token (Top5)
Menampilkan 5 pengguna dengan konsumsi token tertinggi, diurutkan dari tinggi ke rendah.