Debug layanan secara online - Platform For AI

Setelah layanan diterapkan, Anda dapat menggunakan fitur debugging online di Konsol untuk menguji apakah layanan berjalan sesuai harapan. Fitur ini menyediakan antarmuka grafis yang memungkinkan Anda mengirim permintaan tes dan melihat hasilnya tanpa perlu menulis kode apa pun.

Catatan

Beberapa layanan tidak mendukung debugging online. Sebagai contoh, untuk layanan seperti ComfyUI dan SDWebUI, hanya Edisi Standar yang mendukung debugging online.

Cara melakukan debugging online

Pergi ke halaman debugging online.
1. Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
2. Di tab Inference Service, temukan layanan yang ingin Anda uji dan klik > Online Debugging di kolom Actions.
Buat dan kirim permintaan (langkah kunci). Definisi untuk Operasi API, terutama URI permintaan dan format badan permintaan, bervariasi tergantung pada model. Pastikan Anda memasukkan parameter permintaan dengan benar. Permintaan standar mencakup elemen-elemen berikut:
- Metode: Biasanya POST atau GET.
- URI permintaan (URL): Alamat dasar akan otomatis terisi untuk debugging online. Anda harus menentukan apakah perlu menambahkan jalur operasi API tertentu. Jalur yang salah adalah penyebab paling umum dari kesalahan 404 Not Found.
- Header permintaan (Headers): Token Authorization biasanya otomatis terisi dan tidak perlu dimodifikasi.
- Badan permintaan (Body): Badan permintaan harus sesuai dengan persyaratan Operasi API dan dalam format yang benar. Format yang salah adalah penyebab utama kesalahan 400 Bad Request atau 500 Internal Server Error.

Contoh penggunaan

Contoh ini menunjukkan cara menguji operasi API chat untuk layanan model Qwen2.5-7B-Instruct yang diterapkan menggunakan vLLM. Parameter-parameter tersebut adalah sebagai berikut:

Metode: POST
URI permintaan (URL): http://***********/v1/chat/completions (Anda perlu menambahkan /v1/chat/completions ke URL yang otomatis terisi untuk debugging online.)

Badan permintaan (Body):

{
    "model": "Qwen2.5-7B-Instruct",
    "messages": [
        {
            "role": "user",
            "content": "Apa ibu kota Kanada?"
        }
    ]
}

Hasilnya adalah sebagai berikut:

FAQ

T: Bagaimana cara menentukan URL dan badan permintaan yang benar?

URL dan badan permintaan yang benar tergantung pada model yang Anda terapkan. Untuk informasi lebih lanjut, lihat Membuat permintaan untuk skenario tipikal.

Langkah selanjutnya

Evaluasi performa: Anda dapat menggunakan fitur pengujian stres layanan otomatis untuk mengevaluasi performa layanan Anda.
Pemanggilan resmi: Setelah performa layanan memenuhi persyaratan Anda, Anda dapat memanggil layanan tersebut. Untuk informasi lebih lanjut, lihat Metode pemanggilan layanan.