Uji layanan model dengan fitur debugging online - Platform For AI

Setelah men-deploy layanan, Anda dapat menggunakan fitur debugging online di Konsol untuk menguji apakah layanan berjalan normal. Fitur ini menyediakan antarmuka grafis yang memungkinkan Anda mengirim permintaan uji dan melihat hasilnya secara langsung tanpa perlu menulis kode.

Catatan

Beberapa layanan tidak mendukung debugging online. Misalnya, debugging online hanya didukung oleh Edisi Standar ComfyUI dan SDWebUI.

Cara Melakukan Debugging Online

Buka halaman debugging online.
1. Login ke Konsol PAI. Pilih Wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
2. Pada tab Inference Service, temukan layanan yang ingin Anda uji. Kemudian, pada kolom Actions layanan tersebut, klik > Online Debugging.
Buat dan kirim permintaan (langkah utama). Jenis model yang berbeda memiliki definisi Operasi API yang berbeda, terutama untuk path URL dan format badan permintaan. Pastikan Anda mengisi parameter permintaan dengan benar. Permintaan standar mencakup elemen-elemen berikut:
- Method: Biasanya POST atau GET.
- URL: Debugging online secara otomatis mengisi alamat dasar. Anda harus menentukan path API spesifik yang akan ditambahkan. Path yang salah merupakan penyebab paling umum dari error 404 Not Found.
- Headers: Token Authorization biasanya diisi otomatis. Jangan mengubah token ini.
- Body: Badan permintaan harus memenuhi persyaratan API dan diformat dengan benar. Format yang salah merupakan penyebab utama error 400 Bad Request atau 500 Internal Server Error.

Contoh Penggunaan

Contoh ini menggunakan layanan model Qwen2.5-7B-Instruct yang di-deploy dengan vLLM untuk menguji API percakapannya. Parameter-parameternya adalah sebagai berikut:

Method: POST
URL: http://***********/v1/chat/completions (Tambahkan /v1/chat/completions ke URL yang diisi otomatis pada debugging online.)

Body:

{
    "model": "Qwen2.5-7B-Instruct",
    "messages": [
        {
            "role": "user",
            "content": "What is the captial of Canada?"
        }
    ]
}

Hasilnya adalah sebagai berikut:

FAQ

Bagaimana cara menentukan URL dan badan permintaan yang benar?
Hal ini sepenuhnya bergantung pada model yang Anda deploy. Untuk informasi lebih lanjut, lihat Constructing Requests for Typical Scenarios.

Langkah Selanjutnya

Evaluasi Performa: Anda dapat menggunakan uji stres layanan yang disediakan oleh EAS untuk mengevaluasi performa layanan EAS.
Pemanggilan Resmi: Setelah performa layanan memenuhi kebutuhan Anda, Anda dapat memanggil layanan tersebut secara resmi. Untuk informasi lebih lanjut, lihat Service Invocation.