AgentLoop:Panduan cepat mulai AgentLoop: panduan end-to-end

Prosedur

1. Masuk ke Konsol AgentLoop.

2. Di daftar Agent Spaces pada halaman utama konsol, klik Create Space di pojok kanan atas.

3. Pada kotak dialog Create Agent Space, konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Region	Pilih cn-hangzhou, cn-shanghai, atau cn-hongkong. Wilayah tidak dapat diubah setelah ruang dibuat.
   Agent Space (AgentSpace)	Nama ruang. Nama harus terdiri dari 3 hingga 63 karakter dan dapat berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Nama harus unik secara global di seluruh pengguna. Nama tidak dapat diubah setelah ruang dibuat.
   Description	Deskripsi singkat tujuan ruang (opsional).
   CMS 2.0 Workspace	Auto-create: Sistem membuat ruang kerja baru bernama agentloop-<32-character code>. Select existing: Pilih ruang kerja CMS 2.0 yang sudah ada di wilayah yang sama dalam akun Anda dari daftar drop-down untuk digunakan ulang, sehingga memungkinkan Anda menyatukan tampilan pemantauan dengan pemantauan aplikasi yang sudah ada. Ikatan tidak dapat diubah setelah ruang dibuat.
   MSE Namespace	Sistem secara otomatis membuat namespace bernama agentloop-<32-character code> untuk menampung aset agen seperti Prompts dan Skills.
   SLS Project	Sistem secara otomatis membuat proyek bernama agentloop-<32-character code> untuk menampung log audit dan evaluasi.

4. Klik Create Space. Sistem secara otomatis membuat sumber daya AgentLoop dan sumber daya layanan cloud terkait, serta menetapkan hubungan ikatan. Jika suatu langkah gagal, sumber daya yang telah dibuat tidak akan dikembalikan (rollback). Anda dapat membuat ulang sumber daya yang belum berhasil dibuat melalui halaman manajemen ruang.

Verifikasi

Buka System Management > Space Management. Di bagian Basic Information dan Resource Bindings, verifikasi bahwa nama AgentSpace, wilayah, ruang kerja CMS 2.0 terkait, namespace MSE, dan proyek SLS semuanya telah siap.

1. Pilih metode ingest

Buka Integration Center dan pilih metode ingest berdasarkan stack teknologi agen Anda.

AgentTeams dan AgentRun secara default mengimpor data observabilitas melalui CMS 2.0. Anda tidak perlu memilih metode ingest di Integration Center dan tidak perlu menginstal agen ARMS. Ruang kerja CMS 2.0 yang Anda ikat saat membuat AgentSpace di Langkah 1 telah menyelesaikan integrasi. Anda dapat langsung menuju 3. Verifikasi integrasi dalam langkah ini untuk melihat data.

2. Selesaikan integrasi SDK

Contoh berikut menggunakan aplikasi LangChain/LangGraph:

# Instal agen Alibaba Cloud
pip install aliyun-bootstrap
aliyun-bootstrap -a install

# Konfigurasikan variabel lingkungan
export ARMS_APP_NAME=my-agent-app
export ARMS_REGION_ID=cn-hangzhou
export ARMS_LICENSE_KEY=<Diperoleh dari Integration Center>
export ARMS_WORKSPACE=<nama ruang kerja CMS 2.0 yang terkait dengan AgentSpace>

# Jalankan aplikasi dengan agen
aliyun-instrument python app.py

Tidak diperlukan perubahan pada kode bisnis Anda. Agen secara otomatis mengumpulkan data jejak untuk panggilan LLM, panggilan tool, Retrievers, node LangGraph, dan lainnya.

3. Verifikasi integrasi

Buka AI Agent Observability dan periksa hal berikut di tab Tracing:

• Grafik garis untuk jumlah trace, latensi rata-rata, dan jumlah token meningkat seiring dengan trafik yang diimpor.

• Trace List menampilkan catatan trace terbaru. Klik ID Trace untuk membuka detail rantai panggilan, tempat Anda dapat melihat input dan output model, parameter tool, latensi, serta konsumsi token untuk setiap rentang (span).

4. Lihat metrik utama di Agent Overview

Buka Agent Overview. Di halaman Agent Insights, Anda dapat melihat metrik utama seperti sesi, percakapan, pengguna, penggunaan token, dan latensi rata-rata. Anda juga dapat melihat metrik utama untuk setiap agen berdasarkan dimensi agen di Trend Charts dan Agent List.

1. Gunakan evaluator bawaan

Buka Evaluation > Evaluators. Panel kiri mencantumkan evaluator bawaan yang dikelompokkan berdasarkan kategori:

Klik nama evaluator untuk membuka halaman detail. Di tab Prompt & Capabilities, lihat Prompt evaluator dan binding kemampuan (seperti Skills dan MCP). Evaluator bawaan siap digunakan langsung dan tidak memerlukan konfigurasi tambahan.

2. Buat evaluator kustom

Untuk skenario evaluasi spesifik bisnis (misalnya rasionalitas perencanaan tugas kompleks atau koherensi percakapan multi-putaran), Anda dapat membuat evaluator kustom untuk evaluasi yang lebih tepat.

1. Di pojok kanan atas halaman daftar evaluator, klik Create Evaluator.

2. Masukkan informasi dasar evaluator, seperti nama, deskripsi, dan tag.

3. Konfigurasikan Prompt: Tulis instruksi evaluasi yang mendefinisikan tujuan evaluasi, dimensi, dan kriteria penilaian. Contohnya, evaluator kelengkapan Skill:

   Anda adalah pakar evaluasi AI Agent yang ketat dan teliti. 
   Untuk AgentTrace yang akan dievaluasi (yaitu lintasan eksekusi lengkap suatu Agent), 
   berikan skor pada dimensi berikut (0–1):
   1. Akurasi pemahaman tugas
   2. Rasionalitas pemanggilan tool
   3. Keakuratan penalaran multi-langkah
   4. Kelengkapan output akhir

4. Lihat Extracted Variables: Misalnya, input, output, agent_trajectory, tool_context, dan rag_context. Variabel-variabel ini secara otomatis diikat ke bidang pemetaan yang sesuai saat tugas evaluasi dijalankan.

5. Konfigurasikan Capability Extensions (opsional): Ikat Skills atau MCP ke agen evaluator agar dapat memanggil kemampuan eksternal seperti pengambilan (retrieval), validasi aturan, kueri basis pengetahuan, dan lainnya selama evaluasi. Hal ini memungkinkan paradigma evaluasi Agent-as-a-Judge.

6. Lihat definisi output dan konfirmasi apakah akan mengaktifkan evaluation process tracing.

7. Klik Save di pojok kanan atas.

Buat tugas evaluasi

1. Buka Evaluation > Evaluation Tasks dan klik Create Task di pojok kanan atas. Ikuti wizard dua langkah: Data Configuration lalu Select Evaluators.

2. Konfigurasikan pengaturan data dengan mengacu pada tabel berikut:

   Parameter	Deskripsi
   Task Name	Identifikasi bisnis untuk tugas evaluasi.
   Task Description	Deskripsi singkat tujuan (opsional).
   Data Source	Pilih salah satu dari berikut: Traces, Logs, atau Datasets.
   Agent	Pilih aplikasi agen target, misalnya ai-coding-agent-claude-code.
   Execution Policy	Continuous evaluation on new data: Memberikan skor pada data yang baru dilaporkan secara real time. Evaluation on historical data: Melakukan backtesting pada data historis dalam jendela waktu tertentu.
   Time Range	Jangka waktu untuk evaluasi data historis (misalnya, 24 jam terakhir).
   Sampling Ratio	Mengontrol laju sampling data evaluasi (1%–100%). Gunakan parameter ini bersama dengan Maximum Evaluation Count untuk mengontrol jumlah item yang dievaluasi per eksekusi tugas.

3. Pilih evaluator:

   • Pilih evaluator bawaan atau kustom dari panel kiri. Anda dapat memilih beberapa evaluator untuk dijalankan secara paralel.

   • Di bagian Configuration di sisi kanan, ikat bidang pemetaan variabel sesuai kebutuhan evaluator. Pemetaan umum meliputi input ← trace.input, output ← trace.output, dan agent_trajectory ← trace.agent_trajectory.

   • Setelah konfigurasi selesai, klik Update and Run untuk menyimpan tugas dan langsung memicu eksekusi, atau klik Test Run untuk debugging.

Interpretasikan hasil evaluasi

Setelah tugas dijalankan, lihat detail dan distribusi hasil evaluasi di halaman Evaluation Task Details.

1. Impor data Trace

Buka Data Center > Datasets dan klik Create Dataset:

1. Masukkan nama dan deskripsi set data.

2. Untuk sumber data, pilih Process from Trace Data.

3. Di bagian filter data, pilih Agent Application dari daftar drop-down.

4. Di bagian pemrosesan data, pilih templat pemrosesan yang diinginkan, seperti ot_trace_qa_extract (ekstraksi pasangan QA dari Trace), dan tentukan rentang waktu.

5. Di bagian pratinjau data, klik Generate Preview di sisi kanan untuk melihat pratinjau data.

6. Setelah memastikan data sesuai, klik Create Dataset di pojok kanan bawah. Sistem membuat set data di latar belakang dan menjalankan tugas pipeline terkait untuk memproses dan mengimpor data.

2. Anotasi manual

Buka halaman detail set data, klik tab Annotation, lalu klik Create Annotation Template:

• Konfigurasikan Data Annotation Interface dan Annotation Controls di sisi kiri. Anda dapat melihat pratinjau hasil di sisi kanan.

• Setelah konfigurasi selesai, klik Start Annotation di pojok kanan atas untuk menganotasi item satu per satu. Anda dapat melewatkan item.

• Anda dapat melihat hasil anotasi di bidang agentloop_annotations pada set data.

3. Bangun Golden Sets dan BadCase Sets

Berdasarkan hasil evaluasi dan tinjauan anotasi manual, Anda dapat membagi set data menjadi jenis berikut:

1. Buat aset Prompt

Buka Agent Assets > Prompts dan klik Create Prompt:

1. Masukkan informasi dasar: nama (misalnya, my-prompt) dan deskripsi.

2. Di editor Prompt, tulis konten Prompt dan gunakan placeholder seperti {{input}} untuk mendeklarasikan variabel.

3. Klik Save Draft atau Publish Version. Setiap editan yang dipublikasikan secara otomatis menambah nomor versi (v0.0.1, v0.0.2, v0.0.3, dan seterusnya).

2. Manajemen versi

Bagian Version Information di sisi kanan halaman detail aset menampilkan riwayat versi:

• Setiap versi menampilkan nomor versi, komiter, deskripsi perubahan, dan stempel waktu.

• Klik Compare Versions untuk membandingkan perbedaan antara versi saat ini dan versi target.

• Klik Usage Guide untuk melihat metode integrasi klien guna mereferensikan aset ini dalam agen.

3. Rilis canary dan kolaborasi

Aset agen dapat digunakan bersama MSE AI Governance Center untuk pemisahan trafik. Saat beberapa orang mengedit aset, kunci versi dan pesan commit membantu mencegah konflik. Alur kerja manajemen aset Skills mirip dengan Prompts.