Alibaba Cloud Model Studio:Penerapan model

Anda dapat memperoleh layanan inferensi independen dengan sumber daya khusus melalui penerapan untuk memenuhi kebutuhan bisnis pada berbagai tingkat kinerja, seperti konkurensi tinggi dan latensi rendah.

Metode penagihan

Sebelum penerapan, Anda dapat melihat perkiraan biaya per jam berbagai model di Konsol Penerapan Model.

Untuk melihat statistik historis penggunaan Token dan jumlah panggilan untuk setiap panggilan, buka: Pemantauan Model.

Rincian penagihan

Untuk menerapkan lebih banyak model, rujuk ke solusi ini dan pilih rencana penerapan yang paling sesuai dengan kebutuhan bisnis Anda.

Metode penerapan

Anda dapat menerapkan model di konsol. Ikuti langkah-langkah berikut:

Jika Anda mendapat pesan izin tidak mencukupi, rujuk ke: Apa yang harus saya lakukan jika muncul pesan "izin tidak mencukupi" saat penerapan?

Konfigurasi penerapan

Halaman daftar penerapan

Setelah penerapan berhasil, Anda dapat melihat dan mengelola semua layanan penerapan di halaman daftar penerapan. Halaman daftar berisi informasi berikut:

• Nama layanan: Nama layanan penerapan. Klik untuk melihat detail penerapan.
• Nama model: Model yang digunakan untuk penerapan.
• Kode Model: Pengidentifikasi unik yang dihasilkan setelah model berhasil diterapkan, digunakan untuk menentukan model saat memanggil API.
• Status penerapan/Status event: Termasuk Menunggu penerapan, Menerapkan, Running, Penerapan gagal, Offline, Layanan dijeda, Dihentikan, Menghapus, Langganan ditangguhkan/Pembayaran tertunda ditangguhkan, Memulihkan layanan, Running (Mengubah konfigurasi), Running (Perubahan gagal), dan status lainnya.
• Metode penagihan: Metode penagihan layanan penerapan saat ini.
• Detail penerapan: Informasi konfigurasi seperti jenis unit model dan jumlah replika.
• Detail pembatasan laju: Menampilkan konfigurasi pembatasan laju layanan penerapan saat ini, seperti RPM (permintaan per menit) dan TPM (token per menit).
• Waktu layanan: Menampilkan waktu pembuatan dan waktu kedaluwarsa layanan penerapan.
• Operasi: Bergantung pada status penerapan dan metode penagihan, Anda dapat melakukan operasi seperti Perbarui, Pantau, Penskalaan, Perpanjang, Offline, Hapus, dan Coba.

Panggilan pasca-penerapan

Setelah model berhasil diterapkan, Anda dapat memanggilnya melalui antarmuka yang kompatibel OpenAI, DashScope, dan Assistant SDK.

Saat memanggil model yang berhasil diterapkan, nilai model harus berupa kode model yang dihasilkan setelah penerapan berhasil. Buka konsol penerapan model untuk mendapatkan Model Code.

import os
import dashscope

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Who are you?"},
]
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'
response = dashscope.Generation.call(
    # Jika Anda belum mengonfigurasi variabel lingkungan, ganti baris berikut dengan Bailian API Key Anda: api_key="sk-xxx",
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="qwen3-max-xxx-xxx",  # Harap ganti dengan kode yang dikembalikan setelah model berhasil diterapkan
    messages=messages,
    result_format="message",
    enable_thinking=False,
)
print(response)

import os
from openai import OpenAI

client = OpenAI(
    # Jika Anda belum mengonfigurasi variabel lingkungan, ganti baris berikut dengan Bailian API Key Anda: api_key="sk-xxx",
    api_key=os.getenv('DASHSCOPE_API_KEY'),
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen3-max-xxx-xxx",  # Harap ganti dengan kode yang dikembalikan setelah model berhasil diterapkan
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Who are you?"},
    ],
    extra_body={"enable_thinking": False},
)
print(completion)

Penskalaan Layanan Penerapan

• Throughput preset (ditagih berdasarkan durasi): Klik tombol Scaling untuk layanan mandiri, menyesuaikan jumlah instans secara manual. Untuk aturan pengurangan biaya dan pengembalian dana terperinci, silakan merujuk ke: Aturan pengembalian dana untuk downgrade konfigurasi.
• Model unit (ditagih berdasarkan durasi): Klik tombol Scaling untuk layanan mandiri, menyesuaikan jumlah instans secara manual.

Selain itu, Anda dapat mengonfigurasi kebijakan penskalaan otomatis (termasuk ambang batas penskalaan, jumlah replika minimum/maksimum, penskalaan terjadwal, dll.) melalui tombol konfigurasi penskalaan di kolom operasi.

Menonaktifkan Layanan Penerapan

Buka Konsol Penerapan Model, temukan layanan penerapan yang ingin Anda hentikan, lalu klik operasi yang sesuai berdasarkan jenis penagihan:

• Model unit prepaid: Klik Deactivate dan konfirmasi.
• Postpaid: Klik Delete dan konfirmasi.

Tidak akan ada penagihan lebih lanjut setelah operasi selesai.

Operasi Lainnya

Selain menonaktifkan, kolom operasi di halaman daftar penerapan juga mendukung operasi berikut:

• Perbarui: Perbarui versi model layanan yang diterapkan, mendukung pembaruan penuh atau pembaruan batch (rilis canary).
• Hapus: Layanan bayar sesuai penggunaan dapat dihapus langsung untuk menghentikan penagihan.
• Perpanjang: Layanan prepaid dapat diperpanjang untuk memperpanjang waktu layanan, dan mendukung perpanjangan otomatis.
• Beli paket kapasitas: Beli paket kapasitas untuk penerapan throughput preset.

FAQ

Bisakah saya mengunggah dan menerapkan model saya sendiri?

Mengunggah dan menerapkan model Anda sendiri belum didukung. Kami menyarankan Anda terus mengikuti pembaruan terbaru Alibaba Cloud Model Studio.

Selain itu, Platform Kecerdasan Buatan Alibaba Cloud PAI menyediakan kemampuan untuk menerapkan model Anda sendiri. Anda dapat merujuk ke Penerapan Model Bahasa Besar PAI-LLM untuk mempelajari metode penerapan.

Apa yang harus saya lakukan jika muncul pesan "izin tidak mencukupi" saat penerapan?

1. Jika muncul pesan "Missing permission for this module", pastikan akun Anda memiliki izin Model Deployment - Operation di halaman pengelolaan izin ruang bisnis.

   

   Jika Anda tidak dapat beroperasi secara normal, hubungi organisasi atau administrator TI Anda untuk menambahkan izin terkait atau memeriksa masalah izin atas nama Anda.

2. Jika terjadi kesalahan "ruang bisnis xx tidak memiliki izin untuk menerapkan model xx" selama penerapan, buka halaman Pengelolaan Ruang Bisnis Model Studio untuk menambahkan izin penerapan model yang sesuai untuk ruang bisnis yang sesuai.

   Kesalahan pemanggilan API: Workspace xxx does not have deployment privilege for model xxxx.

   

   Jika muncul pesan izin tidak mencukupi, hubungi organisasi atau administrator TI Anda untuk menambahkan izin terkait atau beroperasi atas nama Anda.