全部产品
Search

搜索本产品

    Application Real-Time Monitoring Service：Ikhtisar

    文档中心

    Application Real-Time Monitoring Service：Ikhtisar

    更新时间：Jun 27, 2025

    Setelah menginstal Agen ARMS untuk Python pada aplikasi Large Language Model (LLM), Application Real-Time Monitoring Service (ARMS) dapat mulai memantau aplikasi tersebut. Anda dapat melihat informasi seperti jumlah pemanggilan LLM, penggunaan token, jumlah jejak, dan jumlah sesi di tab Ikhtisar pada halaman detail aplikasi.

    Prasyarat

    Agen ARMS telah diinstal untuk aplikasi LLM. Untuk informasi lebih lanjut, lihat Pemantauan aplikasi LLM dan layanan inferensi di ARMS.

    Pergi ke tab Ikhtisar

    3. Di bilah navigasi atas, klik tab Ikhtisar.

    Dasbor

    image

    Panel

    Deskripsi

    Jumlah panggilan model

    Jumlah kali aplikasi memanggil LLM dalam periode waktu tertentu.

    Penggunaan Token

    Jumlah kali token aplikasi digunakan dalam periode waktu tertentu.

    Jumlah Jejak

    Jumlah jejak yang dihasilkan oleh aplikasi dalam periode waktu tertentu.

    Jumlah Rentang

    Jumlah rentang yang dihasilkan oleh aplikasi dalam periode waktu tertentu.

    Jumlah sesi

    Jumlah sesi yang dihasilkan oleh aplikasi dalam periode waktu tertentu.

    Jumlah pengguna

    Jumlah pengguna aplikasi dalam periode waktu tertentu.

    Distribusi tipe operasi

    • CHAIN: alat yang menghubungkan LLM dan beberapa komponen lainnya untuk menyelesaikan tugas-tugas kompleks, yang mungkin mencakup Retrieval, Penyematan, pemanggilan LLM, dan bahkan dapat menyusun Chain lainnya.

    • EMBEDDING: merujuk pada proses penyematan, seperti operasi untuk menyematkan teks ke dalam LLM. Ini memungkinkan pencarian berdasarkan kesamaan dan mengoptimalkan pertanyaan.

    • RETRIEVER: umumnya merujuk pada akses ke penyimpanan vektor atau basis data untuk mengambil data, sering digunakan untuk melengkapi konteks guna meningkatkan akurasi dan efisiensi respons LLM.

    • RERANKER: melibatkan perangkingan beberapa dokumen input berdasarkan relevansinya dengan konten kueri. Mungkin mengembalikan K dokumen teratas sebagai input ke LLM.

    • LLM: menunjukkan pemanggilan LLM, misalnya, membuat permintaan melalui SDK atau OpenAPI Explorer ke berbagai LLM untuk inferensi atau generasi teks.

    • TOOL: merujuk pada pemanggilan alat eksternal, seperti memanggil kalkulator atau meminta kondisi cuaca terbaru melalui API cuaca.

    • AGENT: skenario agen cerdas, melibatkan Chain kompleks yang memerlukan pengambilan keputusan untuk langkah selanjutnya berdasarkan hasil inferensi dari LLM. Ini mungkin melibatkan beberapa pemanggilan LLM dan Alat untuk secara bertahap sampai pada jawaban akhir.

    • TASK: menunjukkan metode yang disesuaikan secara internal, misalnya, memanggil Fungsi lokal untuk menerapkan logika khusus.

    Rata-rata panggilan LLM per permintaan

    Rata-rata jumlah pemanggilan LLM per permintaan dalam satu menit.

    Tren Jumlah Permintaan

    Grafik tren jumlah permintaan per menit untuk aplikasi.

    Peringkat Panggilan Model

    5 LLM yang paling sering dipanggil oleh aplikasi.

    Peringkat Jumlah Pengguna Permintaan

    5 pengguna yang memulai permintaan terbanyak di aplikasi.

    Tren Jumlah Sesi

    Grafik tren jumlah sesi per menit untuk aplikasi.

    Referensi