AgentLoop, ürün yeteneklerini veri çarkı etrafında şekillendirir. Agent çalışma zamanı verilerini sürekli toplayıp yeniden kullanılabilir varlıklara dönüştürerek ajanların yinelemeli optimizasyonunu gerçekleştirir.
Veri çarkı
Veri çarkı, AgentLoop'un temel işletim mekanizmasıdır ve ürünün değerini anlamak için anahtardır.
Bir agent üretim ortamında çalışırken sürekli olarak izleme kayıtları (traces), konuşma geçmişleri ve günlük verileri üretir. Bir işlem hattı bu ham verileri; kullanıcı girdisi/çıktısı, model çıkarımı, araç çağrıları ve bilgi getirme (retrieval augmentation) dahil olmak üzere sürecin tamamını ve durum ölçümlerini yakalayan trajectory'lere dönüştürür. Trajectory'lerin derinlemesine işlenmesi iki tür temel veri varlığı üretir: veri kümeleri ve deneyimler. Bu veri varlıkları; agent değerlendirme ve denemelerini, güvenli olmayan davranış tespiti, prompt ve beceri ayarlarını ve dinamik bağlam optimizasyonunu yönlendirerek üretim ortamlarındaki agentların performansını artırır. Bu iyileşme daha yüksek kaliteli çalışma zamanı verilerinin üretilmesini sağlayarak pozitif bir pekiştirme döngüsü oluşturur.
Çarkın anahtarı şudur: Veriler bir kez toplanarak eksiksiz trajectory'ler oluşturulur; bu trajectory'ler daha sonra gözlemlenebilirlik, denetim, değerlendirme ve optimizasyon olmak üzere dört senaryoda yeniden kullanılır ve değerleri zamanla sürekli artar.
AgentSpace
AgentSpace, AgentLoop'taki kaynakları düzenlemek ve yönetmek için kullanılan en üst düzey çalışma alanıdır.
Bir AgentSpace; bir ekip, iş birimi veya bağımsız bir proje için tüm kaynak sınırlarını tanımlar. Agent Uygulamaları, veri kümeleri, değerlendirme görevleri, deney planları, bellek depoları ve deneyim depoları gibi tüm kaynakları içerir. AgentSpace; kaynak izolasyonu, merkezi yönetim ve erişim kontrolü sağlayarak kurumsal düzeyde çok kiracılı yönetişim için temel birimi oluşturur.
Tipik bir yaklaşım, kaynakların ve izinlerin temiz bir şekilde izole edilmesi için her iş alanı (müşteri hizmetleri, operasyonlar veya geliştirme gibi) için ayrı bir AgentSpace oluşturmaktır.
Agent
Agent; bağımsız karar verme ve çok adımlı yürütme yeteneğine sahip özerk bir varlıktır. Yalnızca tek bir girdi-çıktı alışverişini tamamlayan geleneksel LLM uygulamalarından farklı olarak; bir agent bir hedefe dayalı plan yapabilir, araçları bağımsız olarak seçip çağırabilir, birden fazla adım boyunca durumu koruyabilir ve karmaşık görevleri nihayetinde tamamlamak için stratejisini dinamik olarak ayarlayabilir.
AgentLoop bağlamında "agent", üzerine kurulduğu çerçeveye veya çalıştığı platforma bakılmaksızın yukarıda açıklanan yürütme özelliklerine sahip herhangi bir özerk varlığı ifade eden genel bir kavramdır.
Agent Application
Agent Application; gözlemlenebilirlik, değerlendirme ve optimizasyon amacıyla AgentLoop'a bağlanan bir agent örneğidir. Bir müşteri hizmetleri botu, operasyon asistanı, kodlama asistanı, kurumsal copilot veya özel olarak oluşturulmuş bir agent sistemi olabilir.
Agent ile Agent Application arasındaki fark: Agent, otonom yürütme yeteneklerine sahip bir AI sistemini tanımlayan bir iş kavramıdır; Agent Application ise AgentLoop'a entegre edilmiş somut bir örneği ifade eden bir kaynak kavramıdır. Tek bir Agent Application, işbirliği yapan bir veya daha fazla agent içerebilir ancak AgentLoop bunu gözlem ve yönetim için tek bir birleşik birim olarak ele alır.
Entegrasyondan sonra AgentLoop, Agent Application çalışırken oluşan izleme kayıtları ve denetim günlükleri gibi verileri sürekli toplar. Bu sayede geliştiricilerin agent'ın gerçek ortamlardaki performansını anlamasına yardımcı olur ve sonraki değerlendirme ile optimizasyon iş akışlarını tetikler.
Trajectory
Bir trajectory, tek bir agent isteğinin alınmasından tamamlanmasına kadar olan tüm yürütme yolunu kaydeder. Bir trajectory; kullanıcı girdisi, model çıkarımı, araç çağrıları, bilgi getirme, bellek okumaları, karar dallanmaları ve nihai yanıt dahil olmak üzere tüm adımları ve her adımın gecikme süresi, token tüketimi ile durum bilgilerini içerir.
Trajectory, AgentLoop veri çarkının temel veri birimidir: Gözlemlenebilirlik, yürütme yollarını yeniden yapılandırmak ve sorunları konumlandırmak için buna dayanır; değerlendirme, çıktı kalitesini ve trajectory'nin mantıklılığını yargılamak için bunu kullanır; denetim, güvenli olmayan davranış saldırı zincirlerini tespit etmek için buna başvurur ve deneyimler de bundan çıkarılıp damıtılır.
Dataset
Dataset, AgentLoop'un agent çalışma zamanı verilerini yönetmek için kullandığı temel taşıyıcıdır. Sorgulanabilir, değerlendirilebilir ve deneme amaçlı kullanılabilen yüksek kaliteli, yapılandırılmış veri varlıklarını biriktirmek için kullanılır.
Konuşma kayıtları, trajectory'ler ve uzman açıklamaları gibi bilgileri bir dataset içinde biriktirebilirsiniz. Her dataset; özel şemaları (metin, long, double ve json alan türleri dahil), sürüm yönetimini, tam metin aramasını, anlamsal aramayı ve SQL analizini destekler. Dataset'ler üründe çoklu roller üstlenir: Değerlendirme görevleri için girdi veri kaynağı, deney karşılaştırmaları için test kümesi, CI/CD kapıları için regresyon temel kümesi ve sürekli optimizasyon için veri temeli olarak hizmet verir.
Dataset'ler, iş süreçleri çalışırken işlem hatları aracılığıyla otomatik olarak biriktirilir ve güncellenir. Güncelleme sıklıkları gerçek zamanlı, günlük, haftalık veya manuel olarak yapılandırılabilir. Platform ayrıca çeşitli senaryolar için önceden ayarlanmış şablonlara sahip bir dataset pazar yeri sunarak değerlendirme temellerini hızlıca oluşturmanıza yardımcı olacaktır.
Pipeline
Pipeline, AgentLoop'un otomatik veri işleme motorudur ve ham çalışma zamanı verilerini trajectory'lere veya yüksek kaliteli veri kümelerine dönüştürmekten sorumludur.
Pipeline'lar çok adımlı orkestrasyonu destekler. Tipik bir işleme zinciri şu şekildedir: Veri kaynağı alımı (trace verileri veya SLS günlükleri) → veri azaltma (filtreleme, yinelenenleri kaldırma, örnekleme) → özellik çıkarımı (adım turları, araç çağrı setleri vb.) → AI veri işleme (konular, niyetler, açıklamalar vb.) → hedef veri deposuna yazma (bir dataset veya günlük deposu). Tüm süreç otomatik ve sürekli olarak çalışır, manuel veri işleme maliyetlerinin %90'ından fazlasını tasarruf ettirir.
Değerlendirme
Değerlendirme, agent çıktılarının ve yürütme süreçlerinin kalitesini nicelleştirmek için kullanılır. "İyi mi?" şeklindeki öznel soruyu, izlenebilir ve karşılaştırılabilir nesnel ölçümlere dönüştürür.
AgentLoop; model çıktıları, RAG getirme sonuçları, araç çağrıları ve agent yürütme trajectory'leri için çok boyutlu değerlendirmeyi destekler. Değerlendiriciler arasında genel amaçlı, RAG, araç kullanımı, agent trajectory'leri ve daha fazlasını kapsayan önceden ayarlanmış değerlendiriciler ile özel değerlendiriciler bulunur. Değerlendirme yöntemleri Agent-as-a-Judge, LLM-as-a-Judge ve insan geri bildirimini içerir. Değerlendirme veri kaynakları arasında trajectory'ler, trace'ler, günlükler ve dataset'ler yer alır. Değerlendirme görevleri iki çalıştırma stratejisini destekler: Yeni verilere dayalı sürekli değerlendirme (kalite değişikliklerinin gerçek zamanlı izlenmesi için) ve geçmiş verilere dayalı toplu iş değerlendirme (çevrimdışı regresyon doğrulaması için).
Değerlendirme sonuçları; hatalı durumları keşfetmek, üretim kalitesi eğilimlerini izlemek, sürüm değişikliklerinin regresyon getirip getirmediğini doğrulamak ve otomatik kalite kapılarını uygulamak üzere CI/CD ile entegre etmek için kullanılabilir.
Deney
Deneyler, kontrollü koşullar altında farklı yapılandırmaların performans farklarını karşılaştırmak için kullanılır. Ekiplerin sürüm öncesi değişikliklerin etkisini doğrulamasına yardımcı olur.
Bir deney planı oluştururken hedef bir dataset ve bir değerlendirici kombinasyonu seçersiniz. Birden fazla deney değişkeni seti (agent örnekleri, model sürümleri, prompt sürümleri, parametre yapılandırmaları, araç yapılandırmaları vb.) tanımlarsınız ve bunları toplu iş olarak çalıştırırsınız. Her grubun performansı; doğruluk, kalite puanları, gecikme süresi, token tüketimi ve maliyet gibi boyutlarda karşılaştırılır. Deney sonuçları, istatistiksel anlamlılık analizi sağlayarak ekiplerin veriye dayalı kararlar almasına ve prompt ayarlamaları, model yükseltmeleri ile agent sürüm yinelemeleri nedeniyle ortaya çıkan üretim risklerini azaltmasına yardımcı olur.
Playground
Playground, hızlı hata ayıklama ve doğrulama için etkileşimli bir deneme ortamıdır.
Playground'da; agentlar, promptlar, model parametreleri ve girdi örnekleri gibi deney nesnelerini anında ayarlayabilir, agent ve model çıktılarını gerçek zamanlı olarak görüntüleyebilir ve değerlendirme sonuçlarını karşılaştırmak için değerlendiriciler ekleyebilirsiniz. Tek örnekli veya çok sürümlü agent hata ayıklama, hızlı prompt denemeleri, performans sorun giderme ve resmi bir deney planı oluşturmadan önce fizibilite doğrulaması için uygundur. Playground, deney engellerini düşürerek geliştiricilerin eksiksiz bir deney iş akışı yapılandırmadan fikirlerini hızla yinelemesine olanak tanır.
Agent varlıkları
Agent varlıkları, bir agent'ın davranış mantığını oluşturan temel yönetilebilir birimlerdir. Başlıca promptlar ve becerilerden oluşur.
Bir prompt, agent'ın rol kurulumunu, akıl yürütme talimatlarını ve çıktı spesifikasyonlarını tanımlar; bir beceri ise agent'ın belirli bir görevi tamamlamak için kullandığı araç çağırma mantığını ve süreç orkestrasyonunu kapsar. Gerçek dünya mühendisliğinde, bir agent'ın performansı büyük ölçüde bu varlıklardaki davranış mantığının doğruluğuna ve tutarlılığına bağlıdır.
AgentLoop, agent varlıkları için merkezi barındırma, sürüm kontrolü ve değişiklik denetimi sağlar: Her değişiklik izlenebilir, etkisi ilişkili değerlendirmeler üzerinden nicelleştirilip karşılaştırılabilir ve bir prompt veya becerideki değişiklik, kalite regresyonu getirmediğinden emin olmak için değerlendirme doğrulamasını otomatik olarak tetikleyebilir. Ekipler, agent davranışını kodu yönettikleri gibi yönetebilir: Değişiklikler kaydedilir, etkiler ölçülür ve sürümler kapılara tabi tutulur.
Bellek
Bellek, AgentLoop'un agentlar için sağladığı uzun vadeli bağlam yeteneğidir. Kullanıcı tercihlerini, önemli gerçekleri ve yeniden kullanılabilir bilgileri depolamak için kullanılır. Sonraki etkileşimlerde uygulama, ilgili bellekleri getirir ve mevcut isteğin bağlamına ekler. Bu sayede agent'ın daha tutarlı ve kişiselleştirilmiş hizmet sunmasına yardımcı olur.
Bellek deposu, bellekleri yönetmek için bir kaynaktır ve üç veri kaynağını destekler: Manuel yazmalar, agent trajectory'leri ve veri kümeleri. Çıkarma ilkesi hangi bilgilerin saklanacağını belirler; depolama ilkesi ise olayların eklenip eklenmeyeceğini veya mevcut belleklerin birleştirilip güncellenip güncellenmeyeceğini belirler. Uygulamalar, bellek deposuna bağlı API anahtarını kullanarak mem0 uyumlu bir arayüz üzerinden bellekleri okur ve yazar. Konsol; bellek arama ve düzenleme, ilke önizlemeleri, denetim ve istatistikler sağlar. Daha fazla bilgi için bkz. Bellek Deposuna genel bakış.
Deneyim
Deneyim, agent yürütme trajectory'lerinden otomatik olarak çıkarılan yeniden kullanılabilir operasyonel bilgidir. Belirli bir görev sınıfı için etkili çözüm yöntemlerini, karar yollarını, başarı kalıplarını veya başarısızlık derslerini kaydeder.
"kullanıcı ve ortam bilgilerini hatırlamaya" odaklanan bellekten farklı olarak deneyim, "agent'ın görevleri nasıl daha iyi tamamlayabileceğine" odaklanır. Örneğin, belirli bir türdeki sorun giderme için en iyi adım sırası, belirli bir türdeki araç çağrısı için doğru parametre kombinasyonu veya belirli bir türdeki hatalı durum için etkili bir düzeltme stratejisi otomatik olarak deneyim parçalarına damıtılabilir.
Deneyimler kuruluş düzeyinde paylaşımı destekler: Aynı enterprise içindeki birden fazla Agent Application aynı deneyim deposunu paylaşabilir. Bu sayede tek bir agent'ın başarılı deneyimleri uygulamalar arasında yeniden kullanılarak genel yetkinlik iyileştirmesi hızlandırılır.