AgentLoop:AgentLoop hızlı başlangıç: uçtan uca kılavuz

Yordam

1. AgentLoop konsolu üzerinde oturum açın.

2. Konsol ana sayfasındaki Agent Spaces listesinde sağ üst köşede Create Space tıklayın.

3. Create Agent Space iletişim kutusunda aşağıdaki parametreleri belirtin.

   Parametre	Açıklama
   Bölge	cn-hangzhou, cn-shanghai veya cn-hongkong seçin. Bölge, alan oluşturulduktan sonra değiştirilemez.
   Agent Alanı (AgentSpace)	Alan adı. Ad 3 ila 63 karakter uzunluğunda olmalı ve küçük harfler, rakamlar, tire (-) ve alt çizgi (_) içerebilir. Ad, tüm kullanıcılar arasında genel olarak benzersiz olmalıdır. Ad, alan oluşturulduktan sonra değiştirilemez.
   Açıklama	Alan amacına ilişkin kısa bir açıklama (isteğe bağlı).
   CMS 2.0 Çalışma Alanı	Otomatik oluştur: Sistem, agentloop-<32-karakterli kod> adlı yeni bir çalışma alanı oluşturur. Mevcut olanı seç: Hesabınız altında aynı bölgede bulunan mevcut bir CMS 2.0 çalışma alanını listeden seçerek yeniden kullanın; bu sayede izlemeyi mevcut uygulama izlemenizle birleştirebilirsiniz. Bağlantı, alan oluşturulduktan sonra değiştirilemez.
   MSE Ad Alanı	Sistem, Prompt'lar ve Skills gibi agent varlıklarını barındırmak üzere agentloop-<32-karakterli kod> adlı bir ad alanını otomatik olarak oluşturur.
   SLS Projesi	Sistem, denetim ve değerlendirme günlüklerini barındırmak üzere agentloop-<32-karakterli kod> adlı bir projeyi otomatik olarak oluşturur.

4. Create Space tıklayın. Sistem, AgentLoop kaynaklarını ve ilişkili cloud hizmet kaynaklarını otomatik olarak oluşturur ve bağlantı ilişkilerini kurar. Bir adım başarısız olursa, oluşturulan kaynaklar geri alınmaz. Oluşturulmayan kaynakları alan yönetimi sayfasından yeniden oluşturabilirsiniz.

Doğrulama

System Management > Space Management şuraya gidin. Basic Information ve Resource Bindings bölümlerinde AgentSpace adının, bölgenin, ilişkili CMS 2.0 çalışma alanının, MSE ad alanının ve SLS projesinin hazır olduğunu doğrulayın.

1. Bir içe aktarma yöntemi seçin

Integration Center şuraya gidin ve agent teknoloji yığınına göre bir içe aktarma yöntemi seçin.

AgentTeams ve AgentRun, gözlemlenebilirlik verilerini varsayılan olarak CMS 2.0 aracılığıyla içe aktarır. Integration Center içinde bir içe aktarma yöntemi seçmenize gerek yoktur ve bir ARMS ajanı yüklemeniz gerekmez. 1. Adımda bir AgentSpace oluştururken bağladığınız CMS 2.0 çalışma alanı entegrasyonu tamamlar. Verileri görüntülemek için doğrudan bu adımdaki 3. Entegrasyonu doğrulayın bölümüne geçebilirsiniz.

2. SDK entegrasyonunu tamamlayın

Aşağıdaki örnek bir LangChain/LangGraph uygulamasını kullanır:

# Install the Alibaba Cloud agent
pip install aliyun-bootstrap
aliyun-bootstrap -a install

# Configure environment variables
export ARMS_APP_NAME=my-agent-app
export ARMS_REGION_ID=cn-hangzhou
export ARMS_LICENSE_KEY=<Obtain from the Integration Center>
export ARMS_WORKSPACE=<CMS 2.0 workspace name associated with the AgentSpace>

# Start the application with the agent
aliyun-instrument python app.py

İş kodunuzda herhangi bir değişiklik yapmanız gerekmez. Ajan, LLM çağrıları, araç çağrıları, Retrievers, LangGraph düğümleri ve daha fazlası için iz verilerini otomatik olarak toplar.

3. Entegrasyonu doğrulayın

AI Agent Observability şuraya gidin ve Tracing sekmesinde aşağıdakileri kontrol edin:

• İz sayısı, ortalama gecikme süresi ve token sayısı için çizgi grafikler, içe aktarılan trafikle birlikte artar.

• Trace List, en son iz kayıtlarını gösterir. Çağrı zinciri ayrıntılarını görüntülemek için bir Trace ID tıklayın; burada her bir span için model giriş ve çıkışlarını, araç parametrelerini, gecikme süresini ve token tüketimini görebilirsiniz.

4. Agent Genel Bakış'ta temel ölçümleri görüntüleyin

Agent Overview şuraya gidin. Agent Insights sayfasında oturumlar, konuşmalar, kullanıcılar, token kullanımı ve ortalama gecikme süresi gibi temel ölçümleri görüntüleyebilirsiniz. Ayrıca Trend Charts ve Agent List içinde agent boyutuna göre her bir agent için temel ölçümleri görebilirsiniz.

1. Yerleşik değerlendiricileri kullanın

Evaluation > Evaluators şuraya gidin. Sol panelde kategorilere göre gruplandırılmış yerleşik değerlendiriciler listelenir:

Ayrıntılar sayfasına gitmek için bir değerlendirici adına tıklayın. Prompt & Capabilities sekmesinde, değerlendiricinin Prompt'unu ve yetenek bağlamalarını (Skills ve MCP gibi) görüntüleyin. Yerleşik değerlendiriciler kullanıma hazırdır ve ek yapılandırma gerektirmez.

2. Özel bir değerlendirici oluşturun

İşe özel değerlendirme senaryoları için (örneğin karmaşık görev planlama mantıklılığı veya çok turlu konuşma tutarlılığı), hassas değerlendirme amacıyla özel değerlendiriciler oluşturabilirsiniz.

1. Değerlendirici listesi sayfasının sağ üst köşesinde Create Evaluator tıklayın.

2. Ad, açıklama ve etiketler gibi değerlendiricinin temel bilgilerini girin.

3. Prompt yapılandırın: Değerlendirme hedeflerini, boyutlarını ve puanlama kriterlerini tanımlayan değerlendirme talimatlarını yazın. Örneğin, bir Skills bütünlüğü değerlendiricisi:

   You are a rigorous and strict AI Agent evaluation expert. 
   For the AgentTrace to be evaluated (i.e., the complete execution trajectory of an Agent), 
   score it on the following dimensions (0–1)
   1. Accuracy of task understanding
   2. Rationality of tool invocation
   3. Correctness of multi-step reasoning
   4. Completeness of final output

4. Çıkarılan Değişkenler görüntüleyin: Örneğin, input, output, agent_trajectory, tool_context ve rag_context. Bu değişkenler, değerlendirme görevi çalıştırıldığında ilgili eşleme alanlarına otomatik olarak bağlanır.

5. Yetenek Uzantıları yapılandırın (isteğe bağlı): Değerlendirici ajana Skills veya MCP bağlayın; böylece değerlendirme sırasında dışsal getirme, kural doğrulama, bilgi tabanı sorguları ve diğer yetenekleri çağırabilir. Bu, Agent-as-a-Judge değerlendirme paradigmasını etkinleştirir.

6. Çıktı tanımını görüntüleyin ve değerlendirme süreci izlemeyi etkinleştirmek isteyip istemediğinizi onaylayın.

7. Sağ üst köşede Save tıklayın.

Bir değerlendirme görevi oluşturun

1. Evaluation > Evaluation Tasks şuraya gidin ve sağ üst köşede Create Task tıklayın. İki adımlı sihirbazı izleyin: Veri Yapılandırması → Değerlendiricileri Seçin.

2. Aşağıdaki tabloya başvurarak veri ayarlarını yapılandırın:

   Parametre	Açıklama
   Görev Adı	Değerlendirme görevi için iş tanımlayıcısı.
   Görev Açıklaması	Amaç hakkında kısa bir açıklama (isteğe bağlı).
   Veri Kaynağı	Aşağıdakilerden birini seçin: İzler, Günlükler veya Veri Kümeleri.
   Agent	Hedef agent uygulamasını seçin, örneğin ai-coding-agent-claude-code.
   Yürütme İlkesi	Yeni verilerde sürekli değerlendirme: Yeni bildirilen verileri gerçek zamanlı olarak puanlar. Geçmiş verilerde değerlendirme: Belirtilen bir zaman penceresindeki geçmiş veriler üzerinde geriye dönük test gerçekleştirir.
   Zaman Aralığı	Geçmiş veri değerlendirmesi için zaman aralığı (örneğin, son 24 saat).
   Örnekleme Oranı	Değerlendirme verisi örnekleme oranını (%1–%100) kontrol eder. Görev çalıştırmasında değerlendirilen öğe sayısını kontrol etmek için bu parametreyi Maksimum Değerlendirme Sayısı ile birlikte kullanın.

3. Değerlendiricileri seçin:

   • Sol panelden yerleşik veya özel değerlendiricileri seçin. Paralel çalıştırmak için birden çok değerlendirici seçebilirsiniz.

   • Sağ taraftaki Configuration bölümünde, değerlendiricinin gerektirdiği değişken eşleme alanlarını bağlayın. Yaygın eşlemeler arasında input ← trace.input, output ← trace.output ve agent_trajectory ← trace.agent_trajectory bulunur.

   • Yapılandırma tamamlandıktan sonra, görevi kaydetmek ve yürütmeyi hemen tetiklemek için Update and Run tıklayın veya hata ayıklama için Test Run tıklayın.

Değerlendirme sonuçlarını yorumlayın

Görev çalıştırıldıktan sonra, Evaluation Task Details sayfasında değerlendirme sonucu ayrıntılarını ve dağılımını görüntüleyin.

1. İz verilerini içe aktarın

Data Center > Datasets şuraya gidin ve Create Dataset tıklayın:

1. Veri kümesi adını ve açıklamasını girin.

2. Veri kaynağı olarak Process from Trace Data seçin.

3. Veri filtreleme bölümünde açılır listeden bir Agent Uygulaması seçin.

4. Veri işleme bölümünde istenen işleme şablonunu seçin, örneğin ot_trace_qa_extract (Trace QA çifti çıkarma) ve zaman aralığını belirtin.

5. Veri önizleme bölümünde, önizleme verilerini görüntülemek için sağdaki Generate Preview tıklayın.

6. Verileri onayladıktan sonra, sağ alt köşede Create Dataset tıklayın. Sistem, arka planda veri kümesini oluşturur ve verileri işlemek ve içe aktarmak için ilişkili işlem hattı görevini çalıştırır.

2. Manuel açıklama ekleme

Veri kümesi ayrıntıları sayfasına gidin, Annotation sekmesine tıklayın ve ardından Create Annotation Template tıklayın:

• Soldaki Veri Açıklama Arayüzü ve Açıklama Kontrolleri yapılandırın. Sonucu sağ tarafta önizleyebilirsiniz.

• Yapılandırma tamamlandıktan sonra, öğeleri tek tek açıklamak için sağ üst köşede Start Annotation tıklayın. Öğeleri atlayabilirsiniz.

• Açıklama sonuçlarını veri kümesinin agentloop_annotations alanında görüntüleyebilirsiniz.

3. Golden Sets ve BadCase Sets oluşturun

Değerlendirme sonuçlarına ve manuel açıklama incelemelerine dayanarak veri kümelerini aşağıdaki türlere ayırabilirsiniz:

1. Bir Prompt varlığı oluşturun

Agent Assets > Prompts şuraya gidin ve Create Prompt tıklayın:

1. Temel bilgileri girin: ad (örneğin, my-prompt) ve açıklama.

2. Prompt düzenleyicisinde Prompt içeriğini yazın ve değişkenleri bildirmek için {{input}} gibi yer tutucular kullanın.

3. Save Draft veya Publish Version tıklayın. Her yayımlanan düzenleme, sürüm numarasını otomatik olarak artırır (v0.0.1, v0.0.2, v0.0.3 vb.).

2. Sürüm yönetimi

Varlık ayrıntıları sayfasının sağ tarafındaki Version Information bölümü sürüm geçmişini gösterir:

• Her sürüm, sürüm numarasını, göndereni, değişiklik açıklamasını ve zaman damgasını gösterir.

• Geçerli sürüm ile hedef sürüm arasındaki farkları karşılaştırmak için Compare Versions tıklayın.

• Bu varlığa bir agent içinde referans vermek için istemci entegrasyon yöntemini görüntülemek üzere Usage Guide tıklayın.

3. Canary sürümü ve işbirliği

Agent varlıkları, trafik bölme için MSE AI Governance Center ile birlikte kullanılabilir. Birden fazla kişi varlıkları düzenlediğinde, sürüm kilitlemeleri ve commit mesajları çakışmaları önlemeye yardımcı olur. Skills varlık yönetimi iş akışı, Prompt'larla benzerdir.