Bu konu, ürün genel bakışı, ilk adımlar, gözlemlenebilirlik ve değerlendirme alanlarını kapsayarak AgentLoop hakkında sıkça sorulan soruları yanıtlar.
Ürün genel bakışı
AgentLoop nedir?
AgentLoop, Alibaba Cloud tarafından sunulan kurumsal yapay zeka ajanları için tek duraklı bir platformdur. Daha fazla bilgi için bkz. AgentLoop. Platform, kendi kendini geliştiren bir gözlemleme-değerlendirme-optimizasyon döngüsünü yöneterek ajan kalitesini, verimliliğini, maliyet etkinliğini ve güvenliğini sürekli artırır.
AgentLoop geleneksel APM ve LLMOps araçlarından nasıl farklıdır?
Geleneksel Uygulama Performans Yönetimi (APM) araçları standart mikroservisleri izler ancak yapay zeka ajanlarına özgü çok adımlı akıl yürütme zincirlerini veya belirteç tüketim modellerini yorumlayamaz. Büyük dil modeli operasyonları (LLMOps) araçları ise bireysel model çağrılarına odaklanır ve yalnızca parçalı bir gözlemlenebilirlik sunar.
AgentLoop, ajan paradigması için özel olarak tasarlanmıştır ve üç temel alanda farklılık gösterir: uçtan uca otomatik enstrümantasyon ve otomatik Trajectory çıkarma ile tam yığın gözlemlenebilirlik; değerlendiricinin kendisinin çoklu adımlarda planlama ve akıl yürütme yaptığı Judge olarak Ajan değerlendirme sistemi; bağımsız nokta araçları yerine gözlemeden optimizasyona uzanan kapalı döngülü bir veri çarkı.
İlk adımlar
AgentLoop kullanmaya nasıl başlarım?
Oturum açmadan Playground'u deneyin. Tam iş akışını entegre etmek için AgentLoop Hızlı Başlangıç kılavuzuna bakın.
Çoklu uygulama dağıtımında farklı ajan uygulamalarını nasıl ayırt ederim?
Her uygulama için benzersiz bir --serviceName başlatma parametresi ayarlayın. licenseKey, workspace, project ve endpoint gibi diğer parametreler uygulamalar arasında aynı kalabilir.
Örneğin, farklı kullanım durumları için birden fazla Docker örneği çalıştırıyorsanız her örnek için farklı bir serviceName yapılandırın. Bu sayede her uygulama, AgentLoop konsolunda bağımsız bir giriş olarak görünür.
AgentSpace kaynakları nasıl organize eder ve yönetir?
AgentSpace, AgentLoop'taki üst düzey çalışma alanıdır. Her AgentSpace, bir ekip, iş birimi veya bağımsız proje için bir kaynak sınırı tanımlar.
Kaynak izolasyonu sağlamak amacıyla müşteri hizmetleri, operasyonlar veya geliştirme gibi her iş alanı için ayrı bir AgentSpace oluşturun. Her AgentSpace içindeki erişim kontrolünü Alibaba Cloud Resource Access Management (RAM) aracılığıyla yönetebilirsiniz.
Tam yığın gözlemlenebilirlik
AgentLoop ajanlardan hangi verileri gözlemleyebilir?
AgentLoop, kullanıcı terminallerinden ve ağ geçitlerinden ajana ve onun bağımlılıklarına (araçlar ve modeller dahil) kadar tüm ajan çağrı zinciri boyunca veri toplar:
Trajectory — Her ajan çalıştırmasının tam akıl yürütme ve eylem dizisini yakalayan eksiksiz çalıştırma izleri.
Model çağrıları — Her çağrı için girdi istemleri, çıktı yanıtları, belirteç tüketimi ve gecikme süresi.
Araç çağrıları — Her çağrı için parametreler, dönüş değerleri, süre ve durum.
Konuşma kayıtları — Oturumlar içindeki iletişim geçmişi.
Hatalar — Çalıştırma zincirinin her aşamasındaki özel durumlar.
Performans ölçümleri — Uçtan uca gecikme süresi, aktarım hızı ve kaynak kullanımı.
Hem bir ajan çerçevesi hem de OpenAI SDK kullanırken yinelenen veri toplamadan nasıl kaçınırım?
Hem ajan çerçevesi eklentisini hem de OpenAI eklentisini etkinleştirirseniz LLM span'leri iki kez toplanır. Yalnızca bir toplama yöntemi seçin:
Ajan çerçevesi eklentisi LLM çağrıları dahil olmak üzere tam çağrı zincirini zaten yakalıyorsa OpenAI eklentisini eklemeyin.
Bir ajan çerçevesi olmadan doğrudan OpenAI SDK'yı çağırıyoranız yalnızca OpenAI eklentisini kullanın.
Oturum verilerini nasıl sorgularım? Bir SDK var mı?
AgentLoop bağımsız bir oturum sorgulama SDK'sı sağlamaz. Oturum düzeyindeki verileri Simple Log Service (SLS) SQL kullanarak sorgulayın. SLS konsoluna giriş yapın ve oturum başına ölçümleri hesaplamak için verileri attributes.gen_ai.session.id alanına göre toplayın.
Aşağıdaki tabloda kullanılabilir oturum düzeyi ölçüm alanları açıklanmaktadır:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Ajanım AgentLoop'ta gösterilen yaygın bir çerçeve kullanmıyorsa verileri nasıl toplarım?
Ajanınız yaygın bir çerçeve kullanıyorsa AgentLoop hazır GenAI enstrümantasyonu sağlar. Ajanınız bir çerçeve olmadan oluşturulduysa iz verilerini AgentLoop'a raporlamak için özel enstrümantasyon amacıyla OpenTelemetry (OTel) SDK'yı kullanın.
Pano üzerinde TTFT bazen neden görünmez?
Bazı çerçeveler (Claude Agent SDK gibi) altta yatan model erişim arayüzünü ortaya çıkarmaz; bu nedenle bu çerçeveler TTFT gibi ölçümleri toplayamaz.
Değerlendirme ve deneme
Judge olarak Ajan nedir? Geleneksel Judge olarak LLM'den nasıl farklıdır?
Judge olarak Ajan, AgentLoop tarafından tanıtılan bir değerlendirme paradigmasıdır. Tek turlu metin yargılarına dayanan Judge olarak LLM'in aksine Judge olarak Ajan, planlama, araç kullanma ve çok adımlı akıl yürütme yeteneklerine sahip bir yapay zeka ajanı olan bir değerlendirici kullanır. Derinlemesine değerlendirme yapmak için değerlendirici eksiksiz Trajectory izlerini analiz eder; buna şunlar dahildir:
Çok adımlı akıl yürütme süreçlerinin anlaşılması.
Araç çağrılarının uygunluğunun ve etkinliğinin analizi.
Çalıştırma zinciri boyunca karar dalı mantığının izlenmesi.
Bu yaklaşım, insan alan uzmanlarının sonuçlarıyla daha yakından eşleşen değerlendirme sonuçları üretir.
Çok turlu oturum değerlendirmesi destekleniyor mu?
Mevcut değerlendirici, bireysel izlere veya Trajectory'lere dayalı tek turlu değerlendirmeyi destekler. Çok turlu oturum değerlendirmesi gelecekteki bir sürüm için planlanmaktadır ve beklenen tarih Eylül 2026 civarıdır.