AgentLoop membangun kemampuan produknya di sekitar data flywheel. Dengan terus-menerus mengumpulkan data runtime agent dan mengubahnya menjadi aset yang dapat digunakan kembali, AgentLoop mendorong optimasi iteratif agen.
Data flywheel
Data flywheel merupakan mekanisme operasional inti AgentLoop dan kunci untuk memahami nilai produk ini.
Saat sebuah agent berjalan di lingkungan produksi, ia terus-menerus menghasilkan jejak (traces), catatan percakapan, dan data log. Sebuah pipeline membersihkan data mentah ini menjadi trajectory yang menangkap proses lengkap dan metrik status, termasuk input/output pengguna, inferensi model, pemanggilan tool, serta augmentasi retrieval. Pemrosesan mendalam terhadap trajectory menghasilkan dua jenis aset data inti: dataset dan experience. Aset data ini selanjutnya mendorong evaluasi dan eksperimen agent, deteksi perilaku tidak aman, penyetelan prompt dan skill, serta optimasi konteks dinamis, sehingga meningkatkan kinerja agent di produksi—yang kemudian menghasilkan data runtime berkualitas lebih tinggi, membentuk loop penguatan positif.
Kunci dari flywheel ini adalah: data dikumpulkan sekali untuk menghasilkan trajectory lengkap, yang kemudian digunakan kembali dalam empat skenario—observabilitas, audit, evaluasi, dan optimasi—dengan nilainya yang terus meningkat seiring waktu.
AgentSpace
AgentSpace adalah ruang kerja tingkat atas untuk mengorganisasi dan mengelola resource di AgentLoop.
AgentSpace menetapkan batas resource lengkap untuk sebuah tim, lini bisnis, atau proyek mandiri, mencakup semua resource seperti Aplikasi Agent, dataset, tugas evaluasi, rencana eksperimen, penyimpanan memori, dan penyimpanan experience. AgentSpace menyediakan isolasi resource, manajemen pusat, dan kontrol akses, menjadikannya unit dasar untuk tata kelola multi-tenant tingkat enterprise.
Pendekatan umum adalah membuat AgentSpace terpisah untuk setiap domain bisnis (misalnya layanan pelanggan, operasi, atau pengembangan) guna mencapai isolasi bersih antara resource dan izin.
Agent
Agent adalah entitas otonom yang mampu mengambil keputusan secara mandiri dan menjalankan tugas dalam beberapa langkah. Berbeda dengan aplikasi LLM tradisional yang hanya menyelesaikan satu pertukaran input-output, agent dapat merencanakan berdasarkan tujuan, memilih dan memanggil tool secara otonom, mempertahankan status selama beberapa langkah, serta menyesuaikan strateginya secara dinamis untuk menyelesaikan tugas kompleks.
Dalam konteks AgentLoop, “agent” adalah konsep umum yang merujuk pada entitas otonom apa pun dengan karakteristik eksekusi seperti di atas—terlepas dari framework tempat ia dibangun atau platform tempat ia dijalankan.
Agent Application
Agent Application adalah instans agent yang terhubung ke AgentLoop untuk observabilitas, evaluasi, dan optimasi. Contohnya meliputi bot layanan pelanggan, asisten operasi, asisten pemrograman, copilot perusahaan, atau sistem agent khusus yang dibuat sendiri.
Perbedaan antara agent dan Agent Application: Agent adalah konsep bisnis yang menggambarkan sistem AI dengan kemampuan eksekusi otonom; Agent Application adalah konsep resource yang merujuk pada instans konkret yang telah onboard ke AgentLoop. Satu Agent Application dapat berisi satu atau lebih agent yang bekerja sama, tetapi AgentLoop memperlakukannya sebagai satu kesatuan terpadu untuk pengamatan dan manajemen.
Setelah onboard, AgentLoop terus-menerus mengumpulkan data seperti jejak (traces) dan log audit yang dihasilkan saat Agent Application berjalan, membantu developer memahami kinerja agent di lingkungan nyata dan mendorong alur kerja evaluasi serta optimasi selanjutnya.
Trajectory
Trajectory mencatat jalur eksekusi lengkap dari satu permintaan agent, mulai dari penerimaan hingga penyelesaian. Trajectory mencakup semua langkah—input pengguna, inferensi model, pemanggilan tool, augmentasi retrieval, pembacaan memori, cabang keputusan, dan respons akhir—serta informasi latensi, konsumsi token, dan status setiap langkah.
Trajectory adalah unit data dasar dari data flywheel AgentLoop: observabilitas mengandalkannya untuk merekonstruksi jalur eksekusi dan menemukan masalah; evaluasi menggunakannya untuk menilai kualitas output dan kewajaran trajectory; audit menggunakannya untuk mengidentifikasi rantai serangan perilaku tidak aman; dan experience juga diekstraksi serta disuling darinya.
Dataset
Dataset adalah wadah inti yang digunakan AgentLoop untuk mengelola data runtime agent, guna mengakumulasi aset data terstruktur berkualitas tinggi yang dapat diquery, dievaluasi, dan digunakan dalam eksperimen.
Anda dapat mengakumulasi informasi seperti catatan percakapan, trajectory, dan anotasi ahli ke dalam dataset. Setiap dataset mendukung skema kustom (dengan tipe bidang termasuk text, long, double, dan json), manajemen versi, pencarian teks lengkap, pencarian semantik, serta analisis SQL. Dataset memainkan berbagai peran dalam produk: sebagai Sumber data input untuk Tugas evaluasi, sebagai data pengujian untuk perbandingan eksperimen, sebagai set garis dasar regresi untuk gerbang CI/CD, dan sebagai fondasi data untuk optimasi berkelanjutan.
Dataset secara otomatis terakumulasi dan diperbarui melalui pipeline seiring berjalannya bisnis, dengan frekuensi pembaruan yang dapat dikonfigurasi sebagai real-time, harian, mingguan, atau manual. Platform juga akan menyediakan marketplace dataset dengan template preset untuk berbagai skenario guna membantu Anda membangun garis dasar evaluasi dengan cepat.
Pipeline
Pipeline adalah mesin pemrosesan data otomatis AgentLoop yang bertanggung jawab mengubah data runtime mentah menjadi trajectory atau dataset berkualitas tinggi.
Pipeline mendukung orkestrasi multi-langkah. Rantai pemrosesan khasnya adalah: ingestion Sumber data (data jejak atau log SLS) → reduksi data (filtering, deduplikasi, pengambilan sampel) → ekstraksi fitur (jumlah putaran langkah, set pemanggilan tool, dan sebagainya) → pemrosesan data AI (topik, intent, anotasi, dan sebagainya) → penulisan ke penyimpanan data target (dataset atau log store). Seluruh proses berjalan secara otomatis dan berkelanjutan, menghemat lebih dari 90% biaya pemrosesan data manual.
Evaluasi
Evaluasi digunakan untuk mengkuantifikasi kualitas output agent dan proses eksekusinya, mengubah pertanyaan subjektif “apakah ini bagus?” menjadi metrik objektif yang dapat dilacak dan dibandingkan.
AgentLoop mendukung evaluasi multidimensi terhadap output model, hasil retrieval RAG, pemanggilan tool, dan trajectory eksekusi agent. Evaluator mencakup evaluator preset (meliputi tujuan umum, RAG, penggunaan tool, trajectory agent, dan lainnya) serta evaluator kustom. Metode evaluasi meliputi Agent-as-a-Judge, LLM-as-a-Judge, dan umpan balik manusia. Sumber data evaluasi mencakup trajectory, traces, log, dan dataset. Tugas evaluasi mendukung dua strategi eksekusi: evaluasi berkelanjutan berdasarkan data baru (untuk pemantauan waktu nyata terhadap perubahan kualitas) dan evaluasi batch berdasarkan data historis (untuk validasi regresi offline).
Hasil evaluasi dapat digunakan untuk menemukan kasus buruk, memantau tren kualitas produksi, memverifikasi apakah perubahan versi memperkenalkan regresi, serta diintegrasikan dengan CI/CD untuk menerapkan gerbang kualitas otomatis.
Eksperimen
Eksperimen digunakan untuk membandingkan perbedaan kinerja berbagai konfigurasi dalam kondisi terkendali, membantu tim memvalidasi efek perubahan sebelum rilis.
Saat Anda membuat rencana eksperimen, Anda memilih dataset target dan kombinasi evaluator, menetapkan beberapa set variabel eksperimen (instans agent, versi model, versi prompt, konfigurasi parameter, konfigurasi tool, dan sebagainya), lalu menjalankannya secara batch untuk membandingkan kinerja masing-masing kelompok berdasarkan dimensi seperti akurasi, skor kualitas, latensi, konsumsi token, dan biaya. Hasil eksperimen menyediakan analisis signifikansi statistik untuk membantu tim membuat keputusan berbasis data serta mengurangi risiko produksi akibat penyesuaian prompt, peningkatan model, dan iterasi versi agent.
Playground
Playground adalah lingkungan eksperimen interaktif untuk debugging dan validasi cepat.
Di Playground, Anda dapat langsung menyesuaikan objek eksperimen seperti agent, prompt, parameter model, dan sampel input, melihat output agent dan model secara waktu nyata, serta melampirkan evaluator untuk membandingkan hasil evaluasi. Lingkungan ini cocok untuk debugging agent versi tunggal atau multi-versi, eksperimen prompt cepat, troubleshooting kinerja, dan validasi kelayakan sebelum membuat rencana eksperimen formal. Playground menurunkan hambatan eksperimen, memungkinkan developer mengiterasi ide dengan cepat tanpa harus mengonfigurasi alur kerja eksperimen lengkap.
Aset Agen
Aset agent adalah unit inti yang dapat dikelola yang membentuk logika perilaku agent, terutama mencakup prompt dan skill.
Prompt menetapkan peran agent, instruksi penalaran, dan spesifikasi output; skill mengenkapsulasi logika pemanggilan tool dan orkestrasi proses yang digunakan agent untuk menyelesaikan tugas tertentu. Dalam rekayasa dunia nyata, kinerja agent sangat bergantung pada kebenaran dan konsistensi logika perilaku dalam aset-aset ini.
AgentLoop menyediakan hosting terpusat, kontrol versi, dan audit perubahan untuk aset agent: setiap modifikasi dapat dilacak, efeknya dapat dikuantifikasi dan dibandingkan melalui evaluasi terkait, serta perubahan pada prompt atau skill dapat secara otomatis memicu validasi evaluasi untuk memastikan perubahan tersebut tidak memperkenalkan regresi kualitas. Tim dapat mengelola perilaku agent seperti mengelola kode: perubahan dicatat, efek diukur, dan rilis dikendalikan.
Memori
Memori adalah kemampuan konteks jangka panjang yang disediakan AgentLoop untuk agent, digunakan untuk menyimpan preferensi pengguna, fakta penting, dan informasi yang dapat digunakan kembali. Dalam interaksi selanjutnya, aplikasi mengambil memori yang relevan dan menambahkannya ke konteks permintaan saat ini, membantu agent memberikan layanan yang lebih koheren dan personal.
Memory store adalah resource yang mengelola memori tersebut. Aplikasi menggunakan Kunci API yang terikat pada memory store untuk membaca dan menulis memori melalui antarmuka yang kompatibel dengan mem0, serta dapat mengambil memori jangka panjang di Konsol. Untuk informasi lebih lanjut, lihat Ikhtisar Memory Store.
Experience
Experience adalah pengetahuan operasional yang dapat digunakan kembali yang diekstraksi secara otomatis dari trajectory eksekusi agent, mencatat metode penanganan efektif, jalur keputusan, pola keberhasilan, atau pelajaran kegagalan untuk kelas tugas tertentu.
Berbeda dengan memori yang berfokus pada “mengingat informasi pengguna dan lingkungan”, experience berfokus pada “bagaimana agent itu sendiri dapat menyelesaikan tugas dengan lebih baik”. Misalnya, urutan langkah terbaik untuk jenis troubleshooting tertentu, kombinasi parameter yang tepat untuk jenis pemanggilan tool tertentu, atau strategi perbaikan efektif untuk jenis kasus buruk tertentu—semuanya dapat secara otomatis disuling menjadi fragmen experience.
Experience mendukung berbagi di tingkat organisasi: beberapa Agent Application dalam satu perusahaan dapat berbagi penyimpanan experience yang sama, memungkinkan pengalaman sukses dari satu agent digunakan kembali lintas aplikasi dan mempercepat peningkatan kemampuan secara keseluruhan.