Laporkan metrik kustom - Platform For AI - Alibaba Cloud Documentation Center

Laporkan metrik kustom dari kode layanan Anda dan gunakan dalam dasbor pemantauan EAS serta aturan penskalaan otomatis.

Cara kerja

Tambahkan panggilan pelaporan ke kode layanan Anda yang secara berkala mengirim data metrik melalui POST ke http://localhost:8080/api/builtin/realtime_metrics.
Deklarasikan metrik tersebut dalam konfigurasi JSON layanan Anda. EAS membaca deklarasi ini saat penerapan dan membuat dasbor pemantauan.
Setelah penerapan, lihat metrik pada tab Service Monitoring. Data muncul dalam waktu satu menit dan disimpan selama satu minggu.
(Opsional) Gunakan metrik kustom dalam aturan penskalaan otomatis.

Batasan

Field metrics hanya didukung untuk layanan yang diterapkan dengan custom image atau custom processor.
Auto Scaling hanya mendukung QPS (queries per second) dan utilisasi CPU sebagai pemicu penskalaan bawaan. Untuk melakukan penskalaan berdasarkan sinyal lain, gunakan metrik kustom.

Prasyarat

Pastikan kondisi berikut terpenuhi:

Layanan diterapkan dengan custom image atau custom processor.

Langkah 1: Laporkan metrik dari kode layanan Anda

Tambahkan panggilan berkala dalam kode layanan Anda untuk mengirim data metrik melalui POST ke titik akhir berikut:

POST http://localhost:8080/api/builtin/realtime_metrics

Badan permintaan berupa array JSON. Setiap elemen merepresentasikan satu sampel metrik:

[
    {
        "name": "qps",
        "tags": {
            "status": "200"
        },
        "value": 20
    },
    {
        "name": "qps",
        "tags": {
            "status": "400"
        },
        "value": 13
    }
]

Field	Wajib	Deskripsi
`name`	Ya	Nama metrik. Harus sesuai dengan `name` yang dideklarasikan dalam konfigurasi JSON layanan.
`value`	Ya	Nilai numerik dari sampel metrik.
`tags`	Tidak	Pasangan kunci-nilai yang menambahkan dimensi pada metrik. Tag membagi satu metrik menjadi beberapa seri. Misalnya, lacak QPS secara terpisah untuk setiap kode status HTTP. Dalam aturan penskalaan otomatis, referensikan metrik bertag sebagai `custom[<name>]@<tag-key>[<tag-value>]`.

Untuk melaporkan metrik tanpa dimensi, hilangkan tags:

[
    {
        "name": "qps",
        "value": 20
    }
]

Langkah 2: Deklarasikan metrik dalam konfigurasi layanan Anda

Tambahkan field metrics ke konfigurasi JSON layanan Anda. EAS menggunakan deklarasi ini untuk membuat dasbor pemantauan.

Contoh: terapkan layanan custom image dengan metrik qps dan tag status:

{
  "name": "metrics_test",
  "containers": [
    {
      "image": "registry-vpc.cn-chengdu.aliyuncs.com/eas/eas-image-****:metrics",
      "command": "python3 -u /image.py",
      "port": 5000
    }
  ],
  "metrics": [
    {
      "name": "qps",
      "tags": "status"
    }
  ],
  "metadata": {
    "instance": 1,
    "cpu": 2,
    "memory": 1000
  }
}

Ganti nilai image dengan URL gambar Anda sendiri. Field metrics mendukung parameter berikut:

Parameter	Wajib	Deskripsi
`name`	Ya	Nama metrik. EAS membuat dasbor untuk metrik ini. Aturan penskalaan otomatis mereferensikannya sebagai `custom[<name>]`.
`tags`	Tidak	Nama kunci tag yang membagi metrik menjadi beberapa seri. Misalnya, `"tags": "status"` memisahkan nilai untuk `status=200` dan `status=400`. Referensikan seri individual dalam aturan penskalaan otomatis sebagai `custom[<name>]@status[<value>]`.

Untuk parameter konfigurasi lainnya, lihat Parameter penerapan JSON.

Terapkan layanan:

Buka halaman Deploy Service. Untuk informasi selengkapnya, lihat Penerapan layanan model menggunakan konsol PAI.
Pada bagian Configuration Editor, klik JSON Deployment dan tempel konfigurasi JSON Anda.
Klik Deploy.

Langkah 3: Lihat metrik kustom

Setelah penerapan, data metrik muncul di dasbor dalam waktu satu menit. Data disimpan selama satu minggu.

Untuk melihat metrik kustom:

Pada halaman EAS-Online Model Services, klik nama layanan untuk membuka Service Details.
Pada tab Service Monitoring, pilih metrik kustom dari daftar drop-down di kiri atas.

Dasbor menampilkan:

Rata-rata nilai metrik di semua instans
Nilai metrik untuk setiap instans secara individual

Langkah 4: Konfigurasikan penskalaan otomatis

Metrik kustom berfungsi sama seperti metrik bawaan dalam aturan penskalaan otomatis. Format nama metrik bergantung pada apakah tag dikonfigurasi atau tidak.

Untuk informasi lebih lanjut tentang penskalaan otomatis, lihat Penskalaan otomatis horizontal.

Sintaks nama metrik penskalaan otomatis

Konfigurasi	Format	Contoh
Tanpa tag	`custom[<metric-name>]`	`custom[qps]`
Dengan tag	`custom[<metric-name>]@<tag-key>[<tag-value>]`	`custom[qps]@status[200]`

Penjelasan sintaks: custom[qps]@status[200]=3

custom[qps] — metrik kustom bernama qps
@status[200] — filter berdasarkan tag status = 200
=3 — ambang batas penskalaan. EAS menambah instans saat rata-rata melebihi 3 dan mengurangi instans saat turun di bawah 3.

Konfigurasi dengan `eascmd`

Untuk informasi lebih lanjut, lihat bagian "Metode 2: Kelola fitur penskalaan otomatis horizontal menggunakan client" dalam Aktifkan atau nonaktifkan fitur penskalaan otomatis horizontal.

Tanpa tag — lakukan penskalaan saat QPS rata-rata melebihi 3:

eascmd autoscale service_name -Dmin=1 -Dmax=10 -Dstrategies.custom[qps]=3

Dengan tag — lakukan penskalaan berdasarkan QPS dengan status=200:

eascmd autoscale service_name -Dmin=1 -Dmax=10 -Dstrategies.custom[qps]@status[200]=3

Konfigurasi di konsol

Untuk informasi lebih lanjut, lihat bagian "Metode 1: Kelola fitur penskalaan otomatis horizontal di konsol" dalam Aktifkan atau nonaktifkan fitur penskalaan otomatis horizontal.

Pada kotak dialog Auto Scaling Settings, di bagian Custom Scaling Metric, masukkan:

Tanpa tag: masukkan custom[qps] sebagai nama metrik dan 3 sebagai nilai metrik.
Dengan tag: masukkan custom[qps]@status[200] sebagai nama metrik dan 3 sebagai nilai metrik.

Langkah berikutnya

Penskalaan otomatis horizontal: konfigurasikan kebijakan penskalaan dengan metrik bawaan atau kustom.
Custom images: terapkan layanan dengan gambar kontainer Anda sendiri.
Custom processors: perluas inferensi EAS dengan logika pemrosesan kustom.