Alibaba Cloud Model Studio：Kompatibel dengan OpenAI - Batch

Sebelum menjalankan pekerjaan batch formal, Anda dapat menggunakan model uji batch-test-model untuk pengujian end-to-end tertutup. Pengujian ini mencakup validasi data masukan, pembuatan pekerjaan, kueri pekerjaan, dan pengunduhan file hasil. Catatan:

• File uji harus memenuhi persyaratan untuk file masukan. Ukurannya tidak boleh melebihi 1 MB atau memiliki lebih dari 100 baris.

• Batas konkurensi: Maksimal 2 pekerjaan paralel.

• Penggunaan sumber daya: Model uji tidak menjalani proses inferensi dan tidak dikenakan biaya inferensi model.

Langkah-langkahnya adalah sebagai berikut:

1. Persiapkan file uji

   • Unduh file contoh test_model.jsonl, yang berisi informasi permintaan, ke mesin lokal Anda. Pastikan file tersebut berada di direktori yang sama dengan skrip Python berikut.

   • Isi contoh: Atur parameter model ke batch-test-model dan parameter url ke /v1/chat/ds-test .

     {"custom_id":"1","method":"POST","url":"/v1/chat/ds-test","body":{"model":"batch-test-model","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello! How can I help you?"}]}}
     {"custom_id":"2","method":"POST","url":"/v1/chat/ds-test","body":{"model":"batch-test-model","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

2. Jalankan skrip

   • Jalankan skrip Python berikut.

     Untuk menyesuaikan path file atau parameter lainnya, Anda dapat memodifikasi kode sesuai kebutuhan.

     import os
     from pathlib import Path
     from openai import OpenAI
     import time
     
     # Inisialisasi klien
     client = OpenAI(
         # Jika Anda belum mengonfigurasi variabel lingkungan, Anda dapat mengganti baris berikut dengan api_key="sk-xxx" menggunakan Kunci API Model Studio Anda. Namun, kami tidak menyarankan hard-coding Kunci API ke dalam kode Anda di lingkungan produksi untuk mengurangi risiko kebocoran.
         # Kunci API untuk wilayah Singapura dan Beijing berbeda. Untuk mendapatkan Kunci API, lihat https://www.alibabacloud.com/help/en/model-studio/get-api-key
         api_key=os.getenv("DASHSCOPE_API_KEY"),
         # Berikut ini adalah base_url untuk wilayah Singapura. Jika Anda menggunakan model di wilayah Beijing, ganti base_url dengan https://dashscope.aliyuncs.com/compatible-mode/v1
         base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1"  # base_url untuk layanan Alibaba Cloud Model Studio
     )
     
     def upload_file(file_path):
         print(f"Mengunggah file JSONL yang berisi informasi permintaan...")
         file_object = client.files.create(file=Path(file_path), purpose="batch")
         print(f"File berhasil diunggah. ID File: {file_object.id}\n")
         return file_object.id
     
     def create_batch_job(input_file_id):
         print(f"Membuat pekerjaan batch berdasarkan ID file...")
         # Catatan: Nilai parameter endpoint di sini harus sama dengan field url dalam file masukan. Untuk model uji (batch-test-model), masukkan /v1/chat/ds-test. Untuk model text embedding, masukkan /v1/embeddings. Untuk model lainnya, masukkan /v1/chat/completions.
         batch = client.batches.create(input_file_id=input_file_id, endpoint="/v1/chat/ds-test", completion_window="24h")
         print(f"Pekerjaan batch berhasil dibuat. ID Pekerjaan Batch: {batch.id}\n")
         return batch.id
     
     def check_job_status(batch_id):
         print(f"Memeriksa status pekerjaan batch...")
         batch = client.batches.retrieve(batch_id=batch_id)
         print(f"Status pekerjaan batch: {batch.status}\n")
         return batch.status
     
     def get_output_id(batch_id):
         print(f"Mendapatkan ID file output untuk permintaan yang berhasil dalam pekerjaan batch...")
         batch = client.batches.retrieve(batch_id=batch_id)
         print(f"ID file output: {batch.output_file_id}\n")
         return batch.output_file_id
     
     def get_error_id(batch_id):
         print(f"Mendapatkan ID file error untuk permintaan yang gagal dalam pekerjaan batch...")
         batch = client.batches.retrieve(batch_id=batch_id)
         print(f"ID file error: {batch.error_file_id}\n")
         return batch.error_file_id
     
     def download_results(output_file_id, output_file_path):
         print(f"Mencetak dan mengunduh hasil permintaan yang berhasil dari pekerjaan batch...")
         content = client.files.content(output_file_id)
         # Cetak beberapa konten untuk pengujian
         print(f"Mencetak 1.000 karakter pertama dari hasil yang berhasil: {content.text[:1000]}...\n")
         # Simpan file hasil ke mesin lokal Anda
         content.write_to_file(output_file_path)
         print(f"Hasil output lengkap telah disimpan ke file output lokal result.jsonl\n")
     
     def download_errors(error_file_id, error_file_path):
         print(f"Mencetak dan mengunduh informasi untuk permintaan yang gagal dari pekerjaan batch...")
         content = client.files.content(error_file_id)
         # Cetak beberapa konten untuk pengujian
         print(f"Mencetak 1.000 karakter pertama dari informasi permintaan yang gagal: {content.text[:1000]}...\n")
         # Simpan file informasi error ke mesin lokal Anda
         content.write_to_file(error_file_path)
         print(f"Informasi permintaan yang gagal lengkap telah disimpan ke file error lokal error.jsonl\n")
     
     def main():
         # Path file
         input_file_path = "test_model.jsonl"  # Ganti dengan path file masukan Anda
         output_file_path = "result.jsonl"  # Ganti dengan path file output Anda
         error_file_path = "error.jsonl"  # Ganti dengan path file error Anda
         try:
             # Langkah 1: Unggah file JSONL yang berisi informasi permintaan untuk mendapatkan ID file masukan
             input_file_id = upload_file(input_file_path)
             # Langkah 2: Buat pekerjaan batch berdasarkan ID file masukan
             batch_id = create_batch_job(input_file_id)
             # Langkah 3: Periksa status pekerjaan batch hingga selesai
             status = ""
             while status not in ["completed", "failed", "expired", "cancelled"]:
                 status = check_job_status(batch_id)
                 print(f"Menunggu pekerjaan selesai...")
                 time.sleep(10)  # Tunggu 10 detik sebelum memeriksa status lagi
             # Jika pekerjaan gagal, cetak pesan error dan keluar
             if status == "failed":
                 batch = client.batches.retrieve(batch_id)
                 print(f"Pekerjaan batch gagal. Informasi error: {batch.errors}\n")
                 print(f"Untuk informasi lebih lanjut, lihat dokumentasi kode kesalahan: https://www.alibabacloud.com/help/en/model-studio/developer-reference/error-code")
                 return
             # Langkah 4: Unduh hasilnya. Jika ID file output ada, cetak 1.000 karakter pertama dari hasil yang berhasil dan unduh hasil lengkap ke file output lokal.
             # Jika ID file error ada, cetak 1.000 karakter pertama dari informasi permintaan yang gagal dan unduh informasi lengkap ke file error lokal.
             output_file_id = get_output_id(batch_id)
             if output_file_id:
                 download_results(output_file_id, output_file_path)
             error_file_id = get_error_id(batch_id)
             if error_file_id:
                 download_errors(error_file_id, error_file_path)
                 print(f"Untuk informasi lebih lanjut, lihat dokumentasi kode kesalahan: https://www.alibabacloud.com/help/en/model-studio/developer-reference/error-code")
         except Exception as e:
             print(f"Terjadi kesalahan: {e}")
             print(f"Untuk informasi lebih lanjut, lihat dokumentasi kode kesalahan: https://www.alibabacloud.com/help/en/model-studio/developer-reference/error-code")
     
     if __name__ == "__main__":
         main()

3. Verifikasi hasil uji

   • Status pekerjaan menunjukkan completed.

   • File hasil result.jsonl: Berisi respons tetap {"content":"This is a test result."}.

     {"id":"a2b1ae25-21f4-4d9a-8634-99a29926486c","custom_id":"1","response":{"status_code":200,"request_id":"a2b1ae25-21f4-4d9a-8634-99a29926486c","body":{"created":1743562621,"usage":{"completion_tokens":6,"prompt_tokens":20,"total_tokens":26},"model":"batch-test-model","id":"chatcmpl-bca7295b-67c3-4b1f-8239-d78323bb669f","choices":[{"finish_reason":"stop","index":0,"message":{"content":"This is a test result."}}],"object":"chat.completion"}},"error":null}
     {"id":"39b74f09-a902-434f-b9ea-2aaaeebc59e0","custom_id":"2","response":{"status_code":200,"request_id":"39b74f09-a902-434f-b9ea-2aaaeebc59e0","body":{"created":1743562621,"usage":{"completion_tokens":6,"prompt_tokens":20,"total_tokens":26},"model":"batch-test-model","id":"chatcmpl-1e32a8ba-2b69-4dc4-be42-e2897eac9e84","choices":[{"finish_reason":"stop","index":0,"message":{"content":"This is a test result."}}],"object":"chat.completion"}},"error":null}

     Jika terjadi kesalahan, lihat Pesan kesalahan untuk mengatasinya.

Setelah verifikasi uji coba berhasil, ikuti langkah-langkah berikut untuk menjalankan pekerjaan batch formal.

1. Persiapkan file masukan sesuai persyaratan file masukan. Atur parameter model dalam file ke model yang didukung dan atur parameter url ke: /v1/chat/completions

2. Ganti endpoint dalam skrip Python di atas.

   Penting

   Pastikan endpoint dalam skrip sesuai dengan parameter url dalam file masukan.

3. Jalankan skrip dan tunggu hingga pekerjaan selesai. Jika berhasil, file output bernama result.jsonl akan dihasilkan di direktori yang sama.

   Jika pekerjaan gagal, program akan keluar dan mencetak pesan kesalahan.

   Jika ID file error tersedia, file error bernama error.jsonl akan dihasilkan di direktori yang sama untuk ditinjau.

   Pengecualian yang terjadi selama proses akan ditangkap, dan pesan kesalahan akan dicetak.

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

Pengaturan parameter masukan

Contoh respons

Untuk informasi lebih lanjut, lihat contoh respons untuk Buat pekerjaan batch.

Parameter respons

Untuk informasi lebih lanjut, lihat parameter respons untuk Buat pekerjaan batch.

Nilai output_file_id dan error_file_id dalam parameter respons dapat diambil menggunakan Unduh file hasil batch.

Pengaturan parameter masukan

{
  "object": "list",
  "data": [
    {
      "id": "batch_xxx",
      "object": "batch",
      "endpoint": "/v1/chat/completions",
      "errors": null,
      "input_file_id": "file-batch-xxx",
      "completion_window": "24h",
      "status": "completed",
      "output_file_id": "file-batch_output-xxx",
      "error_file_id": null,
      "created_at": 1722234109,
      "in_progress_at": 1722234109,
      "expires_at": null,
      "finalizing_at": 1722234165,
      "completed_at": 1722234165,
      "failed_at": null,
      "expired_at": null,
      "cancelling_at": null,
      "cancelled_at": null,
      "request_counts": {
        "total": 100,
        "completed": 95,
        "failed": 5
      },
      "metadata": {}
    },
    { ... }
  ],
  "first_id": "batch_xxx",
  "last_id": "batch_xxx",
  "has_more": true
}

Pengaturan parameter masukan

Contoh respons

Untuk informasi lebih lanjut, lihat contoh respons untuk Buat pekerjaan batch.

Parameter respons

Untuk informasi lebih lanjut, lihat parameter respons untuk Buat pekerjaan batch.