Topik ini menjawab pertanyaan umum mengenai AgentLoop, mencakup ikhtisar produk, panduan memulai, observabilitas, dan evaluasi.
Ikhtisar produk
Apa itu AgentLoop?
AgentLoop adalah platform satu atap untuk agen AI enterprise yang disediakan oleh Alibaba Cloud. Untuk informasi lebih lanjut, lihat AgentLoop. Platform ini mendorong siklus observasi-evaluasi-optimalisasi yang terus-menerus meningkatkan kualitas, efisiensi, efektivitas biaya, dan keamanan agen.
Apa perbedaan AgentLoop dengan tool APM dan LLMOps tradisional?
Tool Application Performance Management (APM) tradisional memantau layanan mikro konvensional tetapi tidak dapat menginterpretasikan rantai penalaran multi-langkah atau pola konsumsi token yang unik pada agen AI. Tool Large Language Model Operations (LLMOps) berfokus pada panggilan model individual dan hanya menyediakan observabilitas yang terfragmentasi.
AgentLoop dirancang khusus untuk paradigma agen dan berbeda dalam tiga hal: observabilitas full-stack dengan auto-instrumentation end-to-end dan ekstraksi Trajectory otomatis; sistem evaluasi Agent-as-a-Judge di mana evaluator itu sendiri merencanakan dan melakukan penalaran multi-langkah; serta flywheel data closed-loop dari observasi ke optimalisasi, bukan tool terpisah yang berdiri sendiri.
Mulai
Bagaimana cara memulai menggunakan AgentLoop?
Coba Playground tanpa perlu login. Untuk mengintegrasikan alur kerja lengkap, lihat panduan QuickStart AgentLoop.
Bagaimana cara membedakan aplikasi agen yang berbeda dalam penerapan multi-aplikasi?
Tetapkan parameter startup --serviceName yang unik untuk setiap aplikasi. Parameter lain seperti licenseKey, workspace, project, dan endpoint dapat tetap sama di seluruh aplikasi.
Sebagai contoh, jika Anda menjalankan beberapa instans Docker untuk kasus penggunaan berbeda, konfigurasikan serviceName yang berbeda untuk setiap instans. Setiap aplikasi kemudian akan muncul sebagai entri independen di Konsol AgentLoop.
Bagaimana AgentSpace mengorganisasi dan mengelola resource?
AgentSpace adalah ruang kerja tingkat atas di AgentLoop. Setiap AgentSpace menetapkan batas resource untuk tim, unit bisnis, atau proyek independen.
Buat AgentSpace terpisah untuk setiap domain bisnis, seperti layanan pelanggan, operasi, atau pengembangan, guna mencapai isolasi resource. Anda dapat mengelola kontrol akses di dalam setiap AgentSpace melalui Alibaba Cloud Resource Access Management (RAM).
Observabilitas full-stack
Data apa saja yang dapat diamati AgentLoop dari agen?
AgentLoop mengumpulkan data di seluruh rantai panggilan agen, mulai dari terminal pengguna dan gerbang hingga agen dan dependensinya, termasuk tool dan model:
Trajectory — Jejak eksekusi lengkap yang menangkap seluruh urutan penalaran dan aksi dari setiap eksekusi agen.
Panggilan model — Prompt input, tanggapan output, konsumsi token, dan latensi untuk setiap pemanggilan.
Panggilan tool — Parameter, nilai kembali, durasi, dan status untuk setiap pemanggilan.
Catatan percakapan — Riwayat dialog dalam sesi.
Error — Pengecualian pada setiap tahap rantai eksekusi.
Metrik kinerja — Latensi end-to-end, throughput, dan pemanfaatan resource.
Bagaimana cara menghindari pengumpulan data duplikat saat menggunakan framework agen dan SDK OpenAI secara bersamaan?
Jika Anda mengaktifkan plugin framework agen dan plugin OpenAI sekaligus, rentang LLM dikumpulkan dua kali. Pilih hanya satu metode pengumpulan:
Jika plugin framework agen sudah menangkap rantai panggilan lengkap termasuk panggilan LLM, jangan tambahkan plugin OpenAI.
Jika Anda memanggil SDK OpenAI secara langsung tanpa framework agen, gunakan hanya plugin OpenAI.
Bagaimana cara mengkueri data sesi? Apakah tersedia SDK?
AgentLoop tidak menyediakan SDK kueri sesi terpisah. Kueri data tingkat sesi dilakukan menggunakan Simple Log Service (SLS) SQL. Login ke Konsol SLS dan agregasikan data berdasarkan bidang attributes.gen_ai.session.id untuk menghitung metrik per sesi.
Tabel berikut menjelaskan bidang metrik tingkat sesi yang tersedia:
Bidang | Deskripsi |
| Jumlah giliran percakapan dalam sesi. |
| Total konsumsi token untuk sesi tersebut. |
| Jumlah panggilan LLM dalam sesi. |
| Jumlah panggilan tool dalam sesi. |
| Jumlah pemanggilan agen dalam sesi. |
| Waktu interaksi aktif, tidak termasuk interval idle. |
| Waktu dinding (wall-clock) dari awal sesi hingga aktivitas terakhir yang tercatat. |
Bagaimana cara mengumpulkan data jika agen saya tidak menggunakan framework utama yang ditampilkan di AgentLoop?
Jika agen Anda menggunakan framework utama, AgentLoop menyediakan GenAI instrumentation bawaan secara langsung. Jika agen Anda dibangun tanpa framework, gunakan SDK OpenTelemetry (OTel) untuk instrumentasi kustom guna melaporkan data jejak ke AgentLoop.
Mengapa TTFT terkadang tidak terlihat di Dasbor?
Beberapa framework (seperti Claude Agent SDK) tidak membuka antarmuka akses model yang mendasarinya, sehingga framework tersebut tidak dapat mengumpulkan metrik seperti TTFT.
Evaluasi dan eksperimen
Apa itu Agent-as-a-Judge? Bagaimana perbedaannya dengan LLM-as-a-Judge tradisional?
Agent-as-a-Judge adalah paradigma evaluasi yang diperkenalkan oleh AgentLoop. Berbeda dengan LLM-as-a-Judge yang mengandalkan penilaian teks satu gilir, Agent-as-a-Judge menggunakan evaluator yang merupakan agen AI dengan kemampuan perencanaan, penggunaan tool, dan penalaran multi-langkah. Evaluator ini menganalisis jejak Trajectory lengkap untuk melakukan evaluasi mendalam, termasuk:
Memahami proses penalaran multi-langkah.
Menganalisis kesesuaian dan efektivitas panggilan tool.
Menelusuri logika cabang keputusan di seluruh rantai eksekusi.
Pendekatan ini menghasilkan evaluasi yang lebih mirip dengan penilaian ahli manusia di bidang terkait.
Apakah evaluasi sesi multi-gilir didukung?
Evaluator saat ini mendukung evaluasi satu gilir berdasarkan jejak atau trajectory individual. Evaluasi sesi multi-gilir direncanakan untuk rilis mendatang, diperkirakan sekitar September 2026.