Setelah Anda menginstal agen Python untuk aplikasi Large Language Model (LLM), Application Real-Time Monitoring Service (ARMS) akan mulai memantau aplikasi tersebut. Penggunaan token dapat dilihat di halaman Token analysis.
Dalam aplikasi LLM, token merupakan unit dasar pemrosesan teks dan merepresentasikan unit semantik terkecil dari input maupun output model. Sebuah token dapat berupa kata, subkata, atau karakter, tergantung pada tokenizer yang digunakan oleh model.
Prerequisites
Anda telah menginstal agen untuk aplikasi LLM. Untuk informasi selengkapnya, lihat Integrate LLM applications or inference services with ARMS.
Lihat analisis token
Masuk ke ARMS console, lalu di bilah navigasi kiri, pilih .
Di halaman Application List, pilih wilayah di bilah navigasi atas, lalu klik nama aplikasi yang dituju.
Di bilah navigasi atas, klik Token analysis.
Panel
Description
Token usage
Jumlah total token yang dikonsumsi oleh semua panggilan LLM dalam rentang waktu yang ditentukan.
Avg tokens per LLM call
Rata-rata jumlah token yang dikonsumsi per panggilan LLM.
Avg tokens per request
Rata-rata jumlah token yang dikonsumsi per permintaan pengguna.
Token usage/1m
Jumlah total token yang dikonsumsi oleh semua panggilan LLM per menit.
Avg tokens per LLM call/1m
Rata-rata jumlah token yang dikonsumsi per panggilan LLM per menit.
Avg tokens per request/1m
Rata-rata jumlah token yang dikonsumsi per permintaan pengguna per menit.
Token Usage Model Ranking (Top5)
5 model teratas berdasarkan penggunaan token, diurutkan secara menurun.
Token Usage Session Ranking (Top5)
5 sesi teratas berdasarkan penggunaan token, diurutkan secara menurun.
Token Usage User Ranking (Top5)
5 pengguna teratas berdasarkan penggunaan token, diurutkan secara menurun.