All Products
Search

This Product

    Application Real-Time Monitoring Service:Ikhtisar

    Document Center

    Application Real-Time Monitoring Service:Ikhtisar

    Last Updated:Apr 11, 2026

    Setelah Anda menginstal agen Python untuk aplikasi Large Language Model (LLM), Application Real-Time Monitoring Service (ARMS) akan mulai memantau aplikasi tersebut. Di halaman Overview, Anda dapat melihat metrik utama aplikasi LLM, seperti jumlah panggilan model, penggunaan token, jumlah trace, dan jumlah session.

    Prasyarat

    Agen harus diinstal pada aplikasi LLM Anda. Untuk informasi selengkapnya, lihat Connect an LLM application or inference service to ARMS.

    Ikhtisar aplikasi LLM

    1. Masuk ke ARMS console. Di panel navigasi sebelah kiri, pilih LLM Application Monitoring > Application list.

    2. Pada halaman Application list, pilih wilayah di bagian atas halaman, lalu klik nama aplikasi target Anda.

    3. Di bilah navigasi atas, klik Overview.

    Dashboard

    image

    Panel

    Description

    Number of model calls

    Jumlah kali aplikasi memanggil LLM dalam rentang waktu yang dipilih.

    Token usage

    Jumlah token yang dikonsumsi aplikasi dalam rentang waktu yang dipilih.

    Trace count

    Jumlah trace yang dihasilkan aplikasi dalam rentang waktu yang dipilih.

    Span count

    Jumlah span yang dihasilkan aplikasi dalam rentang waktu yang dipilih.

    Session count

    Jumlah session yang dimulai aplikasi dalam rentang waktu yang dipilih.

    Number of users

    Jumlah total pengguna unik yang berinteraksi dengan aplikasi dalam rentang waktu yang dipilih.

    Operation type distribution

    • CHAIN: Sebuah tool yang menghubungkan LLM dengan komponen lain untuk menjalankan tugas kompleks. CHAIN dapat mencakup retrieval, embedding, panggilan LLM, bahkan CHAIN bersarang lainnya.

    • EMBEDDING: Proses penyematan, seperti operasi yang mengubah teks menjadi representasi vektor menggunakan model embedding. Hal ini memungkinkan pencarian kemiripan untuk menemukan konteks yang relevan.

    • RETRIEVER: Operasi yang mengakses penyimpanan vektor atau database untuk mengambil data. Biasanya digunakan untuk melengkapi konteks yang diberikan ke LLM guna meningkatkan akurasi dan relevansi respons.

    • RERANKER: Operasi yang mengurutkan ulang sekumpulan dokumen input berdasarkan relevansinya terhadap kueri tertentu. Operasi ini dapat mengembalikan K dokumen paling relevan untuk digunakan sebagai konteks bagi LLM.

    • LLM: Pemanggilan Large Language Model. Contohnya, memanggil LLM melalui SDK atau API untuk melakukan inferensi atau generasi teks.

    • TOOL: Pemanggilan tool eksternal, seperti kalkulator atau API cuaca, untuk mendapatkan informasi spesifik, misalnya cuaca saat ini.

    • AGENT: Agen cerdas, yaitu CHAIN kompleks yang menggunakan penalaran LLM untuk menentukan aksi berikutnya. Hal ini dapat melibatkan beberapa panggilan ke LLM dan TOOL untuk secara bertahap mencapai jawaban akhir.

    • TASK: Metode kustom yang ditentukan pengguna dalam aplikasi. Contohnya, memanggil fungsi lokal untuk menerapkan logika tertentu.

    Avg LLM call per request

    Rata-rata jumlah panggilan LLM per permintaan, dihitung dalam interval satu menit.

    Request count trend

    Memantau jumlah permintaan ke aplikasi LLM per menit.

    Model call ranking

    Menampilkan 5 LLM yang paling sering dipanggil dalam aplikasi.

    User ranking by request count

    Menampilkan 5 pengguna dengan jumlah permintaan terbanyak dalam aplikasi.

    Session count trend

    Memantau jumlah session untuk aplikasi LLM per menit.

    Dokumen terkait