Fakta Audit merupakan titik masuk untuk penelusuran dan analisis perilaku mentah dari modul Audit. Halaman ini mencakup tiga tab: Session Browsing, Token Analysis, dan Behavior Analysis. Topik ini menjelaskan fitur dan penggunaan halaman Fakta Audit.
Ikhtisar halaman
Fakta Audit secara langsung menampilkan sesi mentah, permintaan/respons model, pemanggilan tool, hasil tool, serta perilaku waktu proses yang dilaporkan oleh Agent. Fitur ini tidak bergantung pada status saklar audit risiko. Ketika saklar audit risiko dimatikan, Audit Risiko dan Investigasi Entitas mungkin hanya menampilkan data risiko historis, tetapi Fakta Audit tetap tersedia untuk memverifikasi hasil ingestion, melakukan troubleshooting konteks, serta menganalisis tren token dan perilaku.
Bagian atas halaman menyediakan filter terpadu: cakupan data, tipe Agent, dan rentang waktu kueri. Cakupan data saat ini mencakup Audit Aplikasi AI dan Audit Waktu Proses AI. Rentang waktu kueri default adalah 7 hari terakhir.
Struktur halaman
Halaman Fakta Audit terdiri dari tiga tab:
Tab | Deskripsi |
Session Browsing | Filter sesi berdasarkan Host, User, aplikasi Agent, IP sumber, Tool, Session ID, dan lainnya. Lihat timeline konteks. |
Token Analysis | Analisis token input, token output, total token, distribusi model, tren waktu, dan sesi dengan konsumsi tinggi. |
Behavior Analysis | Lihat aktivitas Agent, permintaan model, pemanggilan tool, eksekusi perintah, interaksi eksternal, error, dan peringkat Sesi dari perspektif perilaku netral. |
Session Browsing
Session Browsing menggunakan tata letak terpisah kiri-kanan:
Panel kiri: Daftar sesi yang menampilkan sesi yang sesuai dengan kondisi filter.
Panel kanan: Detail konteks lengkap dari Sesi yang dipilih.
Statistik tingkat atas
Bagian atas halaman menampilkan statistik keseluruhan untuk cakupan filter saat ini:
Metrik | Deskripsi |
Sessions | Jumlah total sesi yang sesuai |
Events | Jumlah total event mentah |
Turns | Jumlah putaran interaksi user-Agent |
Steps | Jumlah langkah eksekusi Agent |
LLM Requests | Jumlah permintaan model LLM |
Input Tokens | Jumlah total token input model |
Output Tokens | Jumlah total token output model |
LLM Responses | Jumlah respons model LLM |
Tool Calls / Results | Jumlah pemanggilan tool dan hasil yang dikembalikan |
Kondisi filter
Session Browsing mendukung dimensi filter berikut:
Filter | Deskripsi |
Time range | Terletak di filter terpadu tingkat atas. Default adalah 7 hari terakhir. |
Agent type | Terletak di filter terpadu tingkat atas. |
Host | Filter berdasarkan host waktu proses Agent. |
User | Filter berdasarkan dimensi user. |
Agent application | Filter berdasarkan nama aplikasi. |
Source IP | Filter berdasarkan IP sumber pengumpulan. |
Tool | Filter berdasarkan tool yang digunakan. |
Session ID | Filter atau cari sesi berdasarkan Session ID tertentu. |
Input filter mendukung kueri awalan dan mengembalikan nilai yang sesuai beserta jumlah sesinya.
Daftar sesi
Daftar Sesi menampilkan informasi ringkas untuk sesi yang sesuai:
Bidang | Deskripsi |
Session ID | Identifier unik sesi |
Tool summary | Tool utama yang digunakan dalam sesi |
Host / Agent application | Host waktu proses dan nama aplikasi |
User / Agent type | Identifier user dan tipe Agent |
Source IP | IP sumber pengumpulan |
Events | Jumlah total event mentah |
Turns | Jumlah putaran interaksi |
Steps | Jumlah langkah eksekusi |
Req / Resp | Jumlah permintaan LLM / jumlah respons |
Tool Calls / Results | Jumlah pemanggilan tool / jumlah hasil |
Last active | Timestamp event terbaru |
Daftar ini menggunakan pagination. Klik baris untuk menampilkan konteks Sesi di panel kanan.
Detail konteks sesi
Setelah memilih Sesi, panel kanan menampilkan timeline event lengkap untuk Sesi tersebut.
Jenis event
Timeline menampilkan jenis event mentah berikut:
Jenis event | Label | Deskripsi |
Other event | other | Event metadata tingkat sesi |
LLM Request | Request | Permintaan yang dikirim ke model, termasuk input pesan |
LLM Response | Response | Respons yang dikembalikan oleh model, termasuk output asisten |
Tool Call | tool call | Pemanggilan tool yang diinisiasi oleh Agent, termasuk nama dan parameter tool |
Tool Result | tool result | Hasil yang dikembalikan dari eksekusi tool |
Informasi event
Setiap event menampilkan informasi berikut:
Event ID: Identifier unik global.
Turn / Step: Nomor putaran interaksi dan langkah tempat event tersebut berada.
Timestamp: Waktu pasti terjadinya event.
Ringkasan konten: Konten utama yang ditampilkan berdasarkan jenis event (input user, output model, parameter dan hasil tool, dan lainnya).
Token Analysis
Token Analysis mengamati biaya pemanggilan model dan konsumsi konteks, menjawab pertanyaan: "Model, aplikasi, atau sesi mana yang mengonsumsi token paling banyak, dan apakah konsumsi tersebut terkonsentrasi pada beberapa sesi panjang atau permintaan anomali?"
Token Analysis biasanya mencakup:
Modul | Deskripsi |
Token overview | Menampilkan token input, token output, dan total token. |
Model distribution and trends | Menampilkan konsumsi token berdasarkan model dan tren waktu. |
Session ranking | Menampilkan sesi dengan konsumsi tinggi serta navigasi ke Session Browsing untuk tinjauan konteks. |
Token bucket distribution | Mengamati konteks panjang dan konsumsi anomali berdasarkan rentang konsumsi token per Turn atau Sesi. |
Token Analysis merupakan tampilan fakta audit dan tidak merepresentasikan risiko keamanan yang telah dikonfirmasi. Jika terdeteksi konsumsi anomali, gabungkan Session Browsing dan Behavior Analysis untuk memastikan apakah terdapat pemanggilan loop, kegagalan tool berulang, konteks yang terlalu panjang, atau permintaan model anomali.
Behavior Analysis
Behavior Analysis mengamati aktivitas Agent dari perspektif perilaku netral. Fitur ini tidak secara langsung menyamakan hasil deteksi risiko. Fitur ini menjawab pertanyaan: "Aplikasi mana yang paling aktif, tool mana yang sering dipanggil, apakah terdapat volume besar eksekusi perintah, interaksi eksternal, atau error tool?"
Behavior Analysis biasanya mencakup:
Modul | Deskripsi |
Activity metrics | Menampilkan Agent aktif, jumlah sesi, permintaan model, volume perilaku total, dan ikhtisar lainnya. |
Tools and commands | Menampilkan statistik pemanggilan tool, eksekusi perintah, keluarga perintah, dan error tool. |
External interactions | Menampilkan perilaku yang terkait target eksternal, domain, atau interaksi jaringan. |
Session ranking and timeline | Menemukan sesi dengan volume perilaku anomali serta navigasi ke Session Browsing untuk replay konteks. |
Behavior Analysis membantu pengguna memahami garis dasar perilaku normal dan dapat memberikan latar belakang untuk investigasi risiko. Misalnya, ketika Audit Risiko mendeteksi eksfiltrasi data sensitif, Behavior Analysis dapat menunjukkan apakah aplikasi atau host yang sama secara bersamaan menunjukkan interaksi eksternal anomali atau error tool.
Navigasi lintas halaman dan penempatan konteks
Fakta Audit berfungsi sebagai titik masuk penampilan konteks untuk halaman audit lainnya. Saat Anda perlu melihat sesi mentah dari Audit Risiko, Investigasi Entitas, atau Manajemen Audit, navigasikan ke Fakta Audit dan lihat timeline event Sesi yang sesuai di Session Browsing.
Saat melakukan navigasi dari Audit Risiko, gunakan informasi Sesi dalam detail risiko untuk kembali ke sesi mentah dan melihat permintaan model, respons model, pemanggilan tool, serta hasil tool di sekitar waktu terjadinya risiko. Saat melakukan navigasi dari Investigasi Entitas, lihat konteks sesi tempat entitas tertentu muncul. Saat melakukan navigasi dari Manajemen Audit, verifikasi apakah aplikasi atau host tertentu menghasilkan data audit.
Kemampuan ini mendukung kontinuitas jalur investigasi: Anda dapat menavigasi dari risiko, entitas, atau status ingestion kembali ke fakta audit mentah. Halaman Fakta Audit sendiri hanya menyediakan kemampuan penelusuran, penyaringan, dan penampilan konteks, tanpa fungsi anotasi risiko atau disposisi.
Contoh kasus penggunaan
Contoh 1: Melihat konteks mentah dari event keamanan
Lihat detail risiko di Audit Risiko.
Catat atau navigasikan ke Sesi terkait risiko tersebut.
Di Session Browsing dalam Fakta Audit, lihat timeline event mentah untuk Sesi tersebut.
Gabungkan permintaan model, respons model, pemanggilan tool, dan hasil tool untuk memahami proses lengkap di sekitar event keamanan.
Contoh 2: Menginvestigasi konsumsi token anomali
Di Token Analysis dalam Fakta Audit, identifikasi Sesi dengan konsumsi yang sangat tinggi secara anomali.
Navigasikan ke Session Browsing, atau gunakan filter Session ID untuk menemukan Sesi tersebut.
Tinjau event LLM Request/Response untuk memeriksa apakah terdapat konteks yang terlalu panjang atau pemanggilan berulang.
Gabungkan event pemanggilan tool untuk memastikan apakah terdapat pemanggilan loop atau retry kegagalan.
Contoh 3: Memverifikasi kelengkapan data ingestion
Di halaman Fakta Audit, filter berdasarkan rentang waktu terbaru dan tipe Agent target.
Tinjau statistik tingkat atas di Session Browsing untuk memastikan bahwa jumlah Sesi dan jumlah Event sesuai ekspektasi.
Buka Sesi tertentu untuk melihat timeline event dan pastikan bahwa event Turns, Steps, Request/Response, serta Tool Call/Result lengkap.
Jika event hilang atau bidang tidak lengkap, periksa konfigurasi ingestion dan status komponen pengumpulan.