Jika Anda memiliki beberapa bisnis atau skenario yang menggunakan Alibaba Cloud Model Studio, buat ruang kerja terpisah untuk mengelolanya secara independen. Ini memungkinkan Anda mengontrol model yang dapat dipanggil oleh setiap ruang kerja, menerapkan alokasi biaya, serta mengisolasi data pengguna.
Jenis-jenis ruang kerja
Model Studio menyediakan dua jenis ruang kerja: ruang kerja default dan sub-ruang kerja.
Item | Ruang kerja default | Sub-ruang kerja |
Metode pembuatan | Dibuat secara otomatis saat Anda mengaktifkan Model Studio. | Dibuat secara manual oleh Akun Alibaba Cloud atau Pengguna RAM dengan izin manajemen. |
Kesatuan | Secara global unik di bawah Akun Alibaba Cloud. | Banyak sub-ruang kerja dapat ada di bawah satu Akun Alibaba Cloud. |
Izin model dalam ruang kerja | Dapat memanggil semua model tanpa otorisasi. | Membutuhkan otorisasi untuk memanggil model tertentu. |
Pengenal khusus | Di Halaman Ruang Kerja (Singapura atau Beijing), ruang kerja ini ditandai sebagai Default. | Di halaman Ruang Kerja, ruang kerja ini tidak memiliki tanda Default. |
Memulai
Buat ruang kerja baru
Anda harus menggunakan Akun Alibaba Cloud untuk operasi ini. Jika Anda menggunakan Pengguna RAM, Pengguna RAM tersebut harus diberikan izin manajemen oleh Akun Alibaba Cloud.
Setelah ruang kerja dibuat, Anda dapat mengubah namanya tetapi tidak dapat menghapusnya.
Anda dapat membuat ruang kerja terpisah, juga dikenal sebagai sub-ruang kerja, untuk layanan atau skenario baru. Model, biaya sumber daya, serta data pengguna dalam ruang kerja sepenuhnya terisolasi dari ruang kerja lainnya.
Prosedur:
Di pojok kanan atas, klik Add Workspace. Di kotak dialog yang muncul, masukkan nama untuk ruang kerja.
Klik OK.
Apa yang harus dilakukan selanjutnya: Kelola anggota ruang kerja dan izin
Dapatkan ID ruang kerja
ID ruang kerja adalah pengenal unik untuk ruang kerja yang tidak berubah setelah dihasilkan. Contohnya: llm-7c72iiw36kd8****.
Untuk mengambil ID semua ruang kerja di bawah Akun Alibaba Cloud: Pergi ke halaman Ruang Kerja (Singapura atau Beijing).
Anda harus menggunakan Akun Alibaba Cloud atau Pengguna RAM dengan izin manajemen. Jika tidak, kesalahan akan dilaporkan saat Anda mencoba mengakses halaman.
Untuk mengambil ID ruang kerja saat ini: Di halaman utama Model Studio (Singapura atau Beijing), klik
di pojok kiri bawah, lalu klik Rincian Ruang Kerja.Pengguna RAM tanpa izin administratif hanya dapat melihat ID sub-ruang kerja yang telah mereka gabung.
Beralih antar ruang kerja
Ruang kerja beroperasi secara independen satu sama lain. Anda tidak dapat melihat konten semua ruang kerja secara bersamaan. Sebagai gantinya, Anda perlu beralih ke ruang kerja tertentu untuk mengakses model, informasi biaya, serta data pengguna.
Cara beralih: Di halaman utama Model Studio (Singapura atau Beijing), klik di pojok kiri bawah. Anda kemudian dapat melihat dan beralih ke ruang kerja yang berbeda dalam daftar.
Jika ruang kerja yang diinginkan tidak ada dalam daftar, itu berarti Pengguna RAM saat ini belum bergabung dengan ruang kerja tersebut. Cara bergabung dengan ruang kerja.
Otorisasi sub-ruang kerja untuk memanggil model
Anda harus menggunakan Akun Alibaba Cloud untuk operasi ini. Jika Anda menggunakan Pengguna RAM, Pengguna RAM tersebut harus diberikan izin manajemen dan ditambahkan sebagai anggota ruang kerja yang memerlukan otorisasi model.
Sub-ruang kerja dapat memanggil model tertentu, seperti qwen-plus, hanya setelah diberikan izin yang diperlukan untuk model tersebut.
Prosedur:
Pergi ke halaman Ruang Kerja (Singapura atau Beijing). Temukan sub-ruang kerja yang ingin Anda otorisasi dan klik Authorization & Throttling Settings.
Temukan model yang diinginkan dan klik Edit di sebelah kanan.
Aktifkan izin yang diperlukan dan klik Save.
Jika ruang kerja telah diotorisasi sebelumnya, Anda tidak perlu mengotorisasinya lagi.
Konfigurasikan pembatasan laju untuk pemanggilan model
Anda harus menggunakan Akun Alibaba Cloud untuk operasi ini. Jika Anda menggunakan Pengguna RAM, Pengguna RAM tersebut harus diberikan izin manajemen dan ditambahkan sebagai anggota ruang kerja.
Untuk memastikan pemanggilan model yang adil di berbagai layanan atau skenario, Anda dapat menetapkan batas laju panggilan independen untuk sub-ruang kerja yang berbeda.
Titik masuk: Di halaman Ruang Kerja (Singapura atau Beijing), temukan sub-ruang kerja yang diinginkan dan klik Pengaturan Otorisasi & Pembatasan Laju di sebelah kanan.
Cara kerjanya:
Di dalam ruang kerja, pembatasan laju dikendalikan pada tingkat model. Misalnya, untuk model
qwen-plus, sistem menghitung total jumlah permintaan keqwen-plusdari semua Kunci API di ruang kerja dan menerapkan pembatasan berdasarkan hitungan ini.Batas pemanggilan model diukur dalam dua cara independen: Request Number Limit dan Token Limit. Pembatasan dipicu begitu salah satu batas tercapai.
Sebagai contoh, asumsikan batas laju permintaan adalah 20 permintaan per menit (RPM) dan batas laju token adalah 100.000 token per menit (TPM). Jika Anda mengirim 20 permintaan ke model dalam satu menit dan hanya mengonsumsi 1.000 token (yang berada di bawah batas 100.000 TPM), pembatasan tetap dipicu karena jumlah permintaan telah mencapai batas RPM.
Keterbatasan utama:
Ruang kerja default tidak mendukung pengaturan pembatasan. Batas untuk semua model di ruang kerja ini sama dengan batas Akun Alibaba Cloud.
Total jumlah panggilan ke model di semua ruang kerja tidak boleh melebihi batas laju Akun Alibaba Cloud untuk model tersebut.
Pembatasan pemanggilan model berlaku untuk panggilan real-time, tetapi tidak untuk tugas inferensi batch.
Anda tidak dapat mengonfigurasi pembatasan untuk anggota tertentu di dalam ruang kerja.
Tayang
Strategi perencanaan ruang kerja
Berdasarkan lingkungan (direkomendasikan): Buat ruang kerja terpisah untuk pengembangan, pengujian, pra-produksi, dan lingkungan produksi untuk mencapai pemagaran lingkungan yang ketat.
project-dev-workspaceproject-test-workspaceproject-prod-workspace
Berdasarkan garis bisnis: Buat ruang kerja terpisah untuk departemen bisnis yang berbeda di perusahaan Anda, seperti pemasaran, layanan purna jual, dan desain. Ini menyederhanakan manajemen izin dan biaya.
marketing-team-workspacecustomer-team-workspace
Strategi pembatasan laju
Alokasikan kuota total Akun Alibaba Cloud Anda ke setiap ruang kerja secara proporsional dan cadangkan sebagian sebagai buffer untuk menangani lonjakan lalu lintas.
Contoh: Kuota total akun adalah 1.000 RPM. Rencana alokasi adalah sebagai berikut:
project-prod-workspace: 600 RPM (60%)project-test-workspace: 200 RPM (20%)project-dev-workspace: 100 RPM (10%)Buffer cadangan: 100 RPM (10%)
Keamanan dan izin
Ruang kerja default memiliki izin untuk memanggil semua model, yang menimbulkan risiko keamanan yang signifikan.
Rekomendasi:
Hindari menggunakan ruang kerja default untuk layanan produksi.
Gunakan ruang kerja default hanya untuk pengujian awal atau operasi administrator.
Buat dan kelola sub-ruang kerja terpisah untuk semua layanan resmi, seperti pengembangan, pengujian, dan produksi.
Kuota dan batas
Jumlah maksimum ruang kerja per Akun Alibaba Cloud: 10 di wilayah Singapura dan 20 di wilayah Beijing. Kedua batas tersebut termasuk satu ruang kerja default.
Penghapusan tidak didukung: Ruang kerja tidak dapat dihapus setelah dibuat.
Penagihan
Membuat dan mengelola ruang kerja tidak dikenakan biaya.
Biaya dikenakan berdasarkan konsumsi sumber daya di setiap ruang kerja, seperti pemanggilan model.