Layanan PAI-Instant menyediakan dasbor Grafana multi-level (layanan instan, templat, dan instans) serta data kinerja tolok ukur dari pengujian beban. Topik ini menjelaskan cara mengakses dasbor tersebut serta kapasitas dan throughput yang dapat Anda harapkan dalam beban kerja konkurensi tinggi seperti pelatihan RL dan evaluasi agen.
Dasbor Grafana
Di workbench layanan instan, halaman detail templat, atau halaman detail instans, klik Open monitoring page untuk membuka dasbor Grafana sesuai cakupannya.
Dasbor pada workbench layanan instan dan halaman detail templat menampilkan metrik berikut:
Instant Service:
Instance Count: jumlah total instans, dikelompokkan berdasarkan status Berjalan dan Dijeda.
Instance Creation Latency: latensi pembuatan instans (maksimum, rata-rata, P50, P90, dan lainnya).
Top Instance Templates: templat yang paling sering digunakan berdasarkan jumlah penggunaan.
Requested CPU Cores / Memory / Storage: total permintaan sumber daya di seluruh instans.
Gateway API:
Instance Creation/Deletion/Connection QPM: queries per minute (QPM) untuk API lapisan kontrol pembuatan, penghapusan, dan koneksi instans.
Instance Operation Count: jumlah kumulatif operasi pembuatan, penghapusan, dan koneksi instans selama rentang waktu yang dipilih.
Proxy Request: QPS, latensi, dan laju error untuk API proxy Gateway yang meneruskan permintaan ke layanan instans.
Dasbor pada halaman detail instans menampilkan metrik waktu proses untuk satu instans, termasuk pemanfaatan CPU dan memori, jaringan, disk, serta status proses.
Metrik kinerja
Layanan PAI-Instant telah diuji beban pada skala konkurensi besar. Data tolok ukur berikut membantu Anda memperkirakan kapasitas dan throughput untuk beban kerja konkurensi tinggi seperti pelatihan RL dan evaluasi agen.
Lingkungan pengujian
Cluster: kluster komputasi PAI Instant Service.
Node pool size: 300 node.
ecs.c6.13xlarge(52 vCPU / 91 GiB) × 277ecs.c6.26xlarge(104 vCPU / 183 GiB) × 23
Test date: April 2026.
Metodologi pengujian
Skrip klien mengirim permintaan pembuatan instans ke lapisan kontrol secara massal. Pengujian dimulai saat skrip mulai mengirim permintaan dan berakhir ketika instans terakhir mulai berjalan. Waktu yang berlalu disebut sebagai concurrent instance startup duration.
Spesifikasi templat
Code Interpreter (1 CPU / 2 GiB memory / 8 GiB disk)
Hasil pengujian
Pada lebih dari 10.000 instans konkuren, layanan PAI-Instant mempertahankan QPS keseluruhan di atas 750 dengan latensi startup P99 per node di bawah 600 ms, memenuhi tuntutan beban kerja evaluasi agen skala besar dan rollout RL.
Instances created | Concurrent startup duration | Overall QPS | Avg node latency | Node P50 latency | Node P99 latency |
10.000 | 13,23 s | 755,74 | 396,02 ms | 395,81 ms | 502,73 ms |
20.000 | 26,17 s | 764,23 | 457,62 ms | 437,96 ms | 582,07 ms |
Note: Concurrent startup duration adalah total waktu yang dibutuhkan semua instans untuk mulai berjalan, termasuk batasan konkurensi sisi klien dan kendala lainnya. Untuk waktu startup instans tunggal, lihat angka latensi node.