Simple Log Service:Kumpulkan log observabilitas AI Agent (AgentSight)

Prasyarat

• Versi kernel sistem operasi server adalah Linux 5.10 atau lebih baru.

  Plugin ini bergantung pada eBPF untuk pengamatan level sistem. Kernel versi sebelum 5.10 tidak mendukung fitur eBPF yang diperlukan sehingga tidak dapat melakukan pengumpulan.

  Lingkungan yang telah diverifikasi dan didukung meliputi:

  • Alibaba Cloud Linux 3

  • Ubuntu 22.04

  • Ubuntu 24.04

  Jalankan perintah berikut untuk memeriksa versi kernel Anda saat ini:

  uname -r

• LoongCollector v3.3.9 atau lebih baru telah diinstal pada server.

  Kemampuan pengumpulan AgentSight memerlukan versi terbaru LoongCollector. Lakukan upgrade ke versi terbaru sebelum mengonfigurasi plugin ini.

• AI Agent target (seperti OpenClaw atau Hermes) telah dideploy dan sedang berjalan di server.

• Lingkungan kontainer ACK: Untuk mengumpulkan log LLM dari Pod Agent dalam kluster Container Service for Kubernetes (ACK), pastikan persyaratan berikut terpenuhi:

  • LoongCollector telah di-upgrade ke v3.3.10 atau lebih baru.

  • Sakelar enableEBPF telah diaktifkan pada halaman Component Management di Konsol ACK.

  Setelah persyaratan ini terpenuhi, Anda dapat membuat konfigurasi pengumpulan Logtail AgentSight di Simple Log Service untuk mengumpulkan log LLM Agent. Konfigurasi ini berlaku untuk kelompok mesin yang sama dengan konfigurasi LoongCollector lainnya.

Cara kerja

Instrumen aplikasi tradisional tidak mampu mengikuti iterasi cepat dan sifat sangat kustom dari AI Agent, serta tidak dapat melacak rantai pemanggilan tool untuk mengidentifikasi perilaku aktual Agent. Plugin input_agentsight menyambungkan probe SSL/TLS dan pengamat proses pada level kernel melalui eBPF, menangkap permintaan dan respons TLS terenkripsi antara proses Agent dan layanan LLM. Hal ini mencapai observabilitas end-to-end tanpa mengubah kode Agent.

Fitur

• Mengumpulkan data interaksi lengkap antara AI Agent dan LLM: pesan permintaan, pesan respons, nama model, penggunaan token, latensi, kode status, dan lainnya.

• Mengidentifikasi proses yang mengakses API LLM berdasarkan daftar putih domain dengan domain API LLM umum yang telah ditanamkan.

Prosedur

1. Login ke Konsol Simple Log Service.

2. Pada bagian Data Import, pilih entri konfigurasi pengumpulan LoongCollector, lalu pilih Project dan Logstore target.

3. Pada halaman Machine Group Configuration, konfigurasikan dan terapkan kelompok mesin target.

   Penting

   Jika Anda menerapkan kelompok mesin segera setelah membuatnya, status heartbeat mungkin menampilkan FAIL karena koneksi belum berlaku. Klik Automatic Retry untuk mengatasi masalah ini.

4. Pada tab Data Source Settings, tentukan Configuration Name dan masukkan konfigurasi plugin. Jenis plugin tetap sebagai input_agentsight.

   Pilih pola konfigurasi berdasarkan skenario Anda:

   • Gunakan konfigurasi minimal jika Agent dan penyedia LLM Anda sudah tercakup oleh pengaturan default bawaan.

   • Gunakan daftar putih domain kustom jika Agent Anda terhubung ke titik akhir LLM non-default.

   • Gunakan daftar putih command line kustom jika proses Agent Anda tidak sesuai dengan aturan bawaan.

   • Gunakan pelaporan trafik HTTP mentah jika Anda perlu memeriksa trafik yang tidak dapat diurai oleh AgentSight menjadi semantik GenAI.

   Konfigurasi minimal

   Konfigurasi minimal: Tentukan hanya jenis plugin. Semua pengaturan menggunakan nilai default (daftar putih command line dan daftar domain default bawaan disuntikkan).

   {
       "inputs": [
           {
               "type": "input_agentsight"
           }
       ]
   }

   Daftar putih domain kustom: Tentukan domain HTTPS kustom yang akan dipantau.

   {
       "inputs": [
           {
               "detail": {
                   "ProbeConfig": {
                       "Https": [
                           "api.openai.com",
                           "api.anthropic.com",
                           "dashscope-intl.aliyuncs.com",
                           "dashscope.aliyuncs.com"
                       ]
                   }
               },
               "type": "input_agentsight"
           }
       ]
   }

   Daftar putih command line kustom: Filter Agent target berdasarkan command line proses dan tandai jenisnya.

   {
       "inputs": [
           {
               "detail": {
                   "ProbeConfig": {
                       "CmdlineWhitelist": [
                           {
                               "AgentType": "openclaw",
                               "Args": ["node*", "*openclaw*"]
                           },
                           {
                               "AgentType": "claude-code",
                               "Args": ["node*", "*claude*"]
                           }
                       ]
                   }
               },
               "type": "input_agentsight"
           }
       ]
   }

   Laporkan protokol tidak dikenal sebagai trafik HTTP mentah: Saat ProbeConfig.RawHttpsFallback diaktifkan, trafik yang tidak dapat diurai oleh AgentSight menjadi semantik GenAI (jalur API tidak dikenal atau body tidak standar) tidak lagi dibuang. Sebaliknya, trafik tersebut dilaporkan sebagai trafik HTTP mentah. Buat indeks bidang untuk event HTTP mentah tersebut, lalu gunakan fitur kueri dan analisis LogStore untuk memeriksanya.

   {
       "inputs": [
           {
               "detail": {
                   "ProbeConfig": {
                       "RawHttpsFallback": true
                   }
               },
               "type": "input_agentsight"
           }
       ]
   }

   Catatan

   Perhatikan perilaku berikut:

   • Log HTTP mentah yang dihasilkan oleh RawHttpsFallback: true hanya dibuat ketika AgentSight tidak dapat menguraikan trafik menjadi semantik GenAI. Log ini saling eksklusif dengan log gen_ai.*: satu permintaan menghasilkan paling banyak salah satu dari keduanya.

   • Trafik HTTP mentah dilaporkan dengan nama event event.name=http.request dan event.name=http.response.

   • Fitur ini hanya didukung di LoongCollector v3.3.10 dan lebih baru.

5. Buat indeks dan pratinjau data. Anda dapat membuat indeks bidang secara manual berdasarkan bidang yang dikumpulkan, atau klik Auto Generate Index.

6. Setelah konfigurasi selesai, tunggu sekitar 1 menit hingga indeks berlaku. Anda kemudian dapat melihat log yang dikumpulkan di halaman kueri dan analisis Logstore.

   Anda seharusnya melihat entri log yang berisi bidang seperti gen_ai.agent.type, gen_ai.model.request, dan gen_ai.model.response. Kehadiran bidang-bidang ini mengonfirmasi bahwa pengumpulan berjalan dengan benar.

Parameter konfigurasi

Batasan dan troubleshooting

• Tidak ada data di halaman pratinjau atau kueri: Verifikasi bahwa versi kernel server adalah 5.10 atau lebih baru (uname -r) dan LoongCollector telah di-upgrade ke v3.3.9 atau lebih baru. Kemudian verifikasi bahwa command line proses target sesuai dengan aturan CmdlineWhitelist, atau domain yang diaksesnya ada dalam daftar Https. Jalankan perintah berikut di server untuk melihat command line aktual suatu proses sebelum menulis aturan glob:

  tr '\0' ' ' < /proc/<PID>/cmdline; echo

  Apendiks teknis untuk batasan kompatibilitas hook eBPF yang dapat mencegah pengumpulan untuk biner Agent tertentu.

• Untuk panduan troubleshooting tambahan, lihat Troubleshoot Logtail log collection failures.

• Fitur ini saat ini dalam rilis canary dan tersedia di wilayah berikut: AS (Virginia), AS (Silicon Valley), Malaysia (Kuala Lumpur), Indonesia (Jakarta), Korea Selatan (Seoul), dan lainnya.

Apendiks teknis

Plugin input_agentsight menggunakan eBPF untuk pengumpulan. Apakah plugin ini dapat menangkap lalu lintas terenkripsi HTTPS dari Agent tertentu bergantung pada apakah eBPF dapat menemukan fungsi kirim/terima SSL dalam executable Agent tersebut. Gunakan tabel berikut untuk menentukan dukungan: