Alibaba Cloud Model Studio:Inferensi batch

Langkah 1: Siapkan file input

Sebelum membuat tugas, siapkan file JSONL yang memenuhi persyaratan berikut:

• Format: JSONL berkode UTF-8 (satu objek JSON per baris).

• Batas skala: Maksimal 50.000 permintaan per file, dan ukuran file maksimal 500 MB.

  Jika set data Anda melebihi batas ini, bagi menjadi beberapa file dan kirimkan sebagai tugas terpisah.

• Batas per baris: Setiap objek JSON dapat mencapai 6 MB dan tidak boleh melebihi jendela konteks model.

• Konsistensi: Semua permintaan dalam satu file harus menggunakan model yang sama.

• Pengenal unik: Setiap permintaan harus menyertakan bidang custom_id yang unik dalam file tersebut untuk pencocokan hasil. custom_id mendukung maksimal 256 karakter. Jika batas ini terlampaui, validasi tugas akan gagal. Untuk mengembalikan pengenal yang lebih panjang, gunakan bidang kustom dalam parameter metadata saat membuat tugas. Untuk informasi selengkapnya, lihat Gunakan metadata untuk mengembalikan pengenal kustom.

Setiap objek JSON harus mengikuti skema berikut:

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

{"custom_id":"request-1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen3.5-plus","enable_thinking":false,"messages":[{"role":"user","content":"Hello"}]}}

{"custom_id":"request-2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen3.5-plus","enable_thinking":true,"thinking_budget":50,"messages":[{"role":"user","content":"Please analyze the following question"}]}}

Langkah 2: Buat tugas inferensi batch

1. Di halaman Batch Inference**, klik Create Batch.

2. Pada kotak dialog yang muncul, masukkan Task Name dan Description, atur Maximum Waiting Time (dari 1 hingga 14 hari), lalu unggah file JSONL Anda.

   Anda dapat mengklik Download Sample File untuk mendapatkan templat.

   

3. Setelah selesai, klik Confirm.

Langkah 3: Pantau dan kelola tugas

• Lihat:

  • Di halaman daftar tugas, lihat progres tugas (permintaan diproses/jumlah total permintaan) dan Status.

  • Cari berdasarkan nama atau ID tugas, atau filter berdasarkan ruang kerja untuk menemukan tugas tertentu dengan cepat.

• Kelola:

  • Batalkan: Anda dapat membatalkan tugas yang berstatus Executing di kolom Actions.

  • Pemecahan masalah: Untuk tugas yang gagal, arahkan kursor ke status untuk melihat ringkasan error atau unduh file error untuk detailnya.

Langkah 4: Unduh hasil

Saat tugas selesai, klik View Results untuk mengunduh file output:

• File hasil: Mencatat semua permintaan yang berhasil dan hasil respons-nya.

• File error (jika ada): Mencatat semua permintaan yang gagal dan detail error-nya.

Kedua file berisi bidang custom_id, yang digunakan untuk mencocokkan dengan data input asli, mengaitkan hasil, atau menemukan error.

Langkah 5: Lihat statistik penggunaan (opsional)

Di halaman Model Monitoring, Anda dapat memfilter dan melihat statistik penggunaan untuk inferensi batch.

Bidang metadata

metadata adalah parameter opsional untuk membuat tugas Batch. Parameter ini mendukung bidang berikut:

• ds_name: Nama tugas. Nama ini ditampilkan di kolom Task Name di Konsol.

• ds_description: Deskripsi tugas. Deskripsi ini ditampilkan di kolom Task Description di Konsol.

• Bidang kustom: Selain bidang resmi, objek metadata juga mendukung bidang kustom apa pun, dan nilainya tidak dibatasi hingga 256 karakter. Saat Anda mengambil detail tugas, semua bidang kustom dikembalikan secara lengkap.

Contoh kode

Contoh berikut menunjukkan cara menggunakan bidang kustom dalam metadata untuk mengembalikan pengenal yang lebih panjang dari 256 karakter:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

batch = client.batches.create(
    input_file_id="file-batch-xxxxxxxxxxxxxxxxxxxx",
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "ds_name": "my_batch_task",
        "ds_description": "A description for my batch inference task",
        "my_custom_field": "The value of this field can exceed 256 characters and is used to pass back longer identifier information..."
    }
)
print(batch)

Setelah tugas berhasil dibuat, Anda dapat memanggil operasi GET /v1/batches/{batch_id} untuk mengambil informasi metadata lengkap, yang mencakup semua bidang kustom dan kontennya secara utuh.

Di lingkungan produksi, gunakan API yang kompatibel dengan OpenAI untuk mengotomatiskan pembuatan dan pengelolaan tugas batch. Alur kerja intinya adalah sebagai berikut:

1. Unggah file

   Panggil POST /v1/files untuk mengunggah file. Catat ID file yang dikembalikan.

2. Untuk membuat tugas, masukkan ID file , panggil POST /v1/batches, lalu catat batch_id yang dikembalikan.

3. Periksa status dengan menggunakan batch_id untuk melakukan polling GET /v1/batches/{batch_id}. Saat status berubah menjadi completed, catat output_file_id dan hentikan polling.

4. Untuk mengunduh file hasil, gunakan output_file_id untuk memanggil GET /v1/files/{output_file_id}/content.

• Harga: Untuk semua permintaan yang berhasil, token input dan output dikenai harga 50% dari harga inferensi real-time untuk model yang sesuai. Untuk detailnya, lihat Model dan Harga.

• Cakupan penagihan:

  • Anda hanya ditagih untuk permintaan yang berhasil dieksekusi dalam suatu tugas.

  • Kegagalan parsing file, kegagalan eksekusi tugas, atau error permintaan per baris tidak dikenai biaya.

  • Untuk tugas yang dibatalkan, permintaan yang telah berhasil diselesaikan sebelum pembatalan tetap ditagih secara normal.