Fitur Model Service di DataWorks menyediakan cara efisien untuk menerapkan large language models (LLMs). Melalui antarmuka berpandu yang sederhana, Anda dapat menerapkan model pra-latih. Dokumen ini menjelaskan cara menerapkan layanan model menggunakan kelompok sumber daya Serverless di DataWorks.
Billing
Biaya berikut berlaku:
Jenis biaya | Deskripsi |
Biaya DataWorks | Layanan model mengonsumsi sumber daya dari kelompok sumber daya Serverless selama berjalan. Jika Anda menggunakan kelompok sumber daya pay-as-you-go untuk menerapkan layanan tersebut, Anda akan dikenai biaya per Jam-CU. Untuk informasi lebih lanjut, lihat Billing of Serverless resource groups. |
Biaya non-DataWorks |
|
Penggunaan
DataWorks menerapkan layanan model Anda dalam mode fully managed di dalam kelompok sumber daya DataWorks. Untuk mengaktifkan akses jaringan pribadi yang aman ke layanan model, sistem akan meminta Anda mengaktifkan layanan terkait dan secara otomatis mengonfigurasi PrivateLink dan Private Hosted Zone untuk Anda.
PrivateLink memungkinkan akses cross-VPC, sehingga Anda dapat mengakses layanan model yang fully managed dari Virtual Private Cloud (VPC) di Akun Alibaba Cloud Anda. VPC tersebut harus dapat berkomunikasi dengan kelompok sumber daya DataWorks.
Private Hosted Zone menyediakan resolusi nama domain kustom dalam akun Anda, sehingga Anda dapat mengakses layanan model DataWorks dari VPC Anda menggunakan nama domain-nya.
Saat Anda memanggil layanan model menggunakan nama domain-nya, lalu lintas mengalir dari VPC Anda melalui koneksi PrivateLink yang telah dibuat menuju VPC kelompok sumber daya DataWorks, dan akhirnya mencapai instans model di dalam VPC tersebut. Anda dapat melihat detail layanan ini di PrivateLink console dan Alibaba Cloud DNS console.
Prasyarat
Layanan PrivateLink telah diaktifkan.
Layanan model dikelola sepenuhnya di akun platform DataWorks. Untuk mengakses layanan dari VPC Anda, Anda dapat menggunakan PrivateLink untuk membuat akses cross-VPC yang aman.
Layanan Private Hosted Zone telah diaktifkan.
Private Hosted Zone menyediakan resolusi nama domain kustom di dalam VPC Anda. Layanan ini memungkinkan Anda langsung mengakses domain layanan model dan meneruskan lalu lintas permintaan ke layanan model DataWorks.
Ruang kerja DataWorks telah dibuat dan dikaitkan dengan kelompok sumber daya Serverless.
Pastikan wilayah tempat Anda mengaktifkan layanan ini sesuai dengan wilayah ruang kerja DataWorks Anda. Jika tidak, layanan model mungkin tidak berfungsi dengan benar.
Batasan
Model Service hanya tersedia di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).
Hanya penerapan model yang didukung. Pelatihan model tidak didukung.
Setiap Akun Alibaba Cloud dapat menerapkan hingga 50 layanan model per wilayah.
Fitur ini hanya mendukung kelompok sumber daya Serverless. Setiap kelompok sumber daya dapat menerapkan hingga 5 layanan model.
Setiap layanan model dapat dikaitkan dengan maksimal 3 VPC.
Halaman Layanan Model
Login ke DataWorks console. Di bilah navigasi atas, alihkan ke wilayah target.
Di panel navigasi kiri, klik Model Service untuk membuka halaman Model Service.
Menerapkan layanan
Di halaman Model Service, klik Deploy Model untuk membuka halaman Model List. Pilih model yang ingin Anda terapkan, lalu klik Deploy untuk membuka halaman konfigurasi Model Deployment.
Informasi dasar
Model: Konfirmasi jenis model yang Anda terapkan ke kelompok sumber daya DataWorks. Untuk informasi lebih lanjut, lihat Supported models.
Service Name: Masukkan nama kustom untuk layanan model. Nama ini digunakan untuk mengidentifikasi layanan model yang diterapkan di DataWorks.
Informasi sumber daya
Konfigurasikan lingkungan penerapan model.
Parameter | Deskripsi |
Resource Group | Kelompok sumber daya Serverless tempat layanan model akan diterapkan. Setelah penerapan, login ke DataWorks console, alihkan ke wilayah target, lalu klik Resource Group di panel navigasi kiri. Di halaman daftar kelompok sumber daya, klik Resource Group Name target dan buka halaman Details kelompok sumber daya untuk melihat Serverless resource group usage untuk layanan model. |
vSwitch | vSwitch untuk penerapan layanan model. Ikuti petunjuk di layar untuk memilih vSwitch yang dikaitkan dengan kelompok sumber daya Serverless di zona ketersediaan yang sesuai. |
Deployment Specification | Spesifikasi sumber daya untuk setiap instans layanan. |
Number of Instances | Jumlah instans yang akan diterapkan untuk layanan model. Menerapkan beberapa instans meningkatkan ketersediaan tinggi layanan. |
Total Occupancy | Total CU yang dibutuhkan untuk layanan model, dihitung sebagai Deployment Specification × Number of Instances. Pastikan kelompok sumber daya memiliki CU yang cukup tersedia untuk penerapan. Anda dapat membuka halaman manajemen kuota kelompok sumber daya untuk menyesuaikan batas CU yang dialokasikan ke layanan model. Untuk informasi lebih lanjut, lihat Allocate CU quotas to tasks.
|
Setelah menyelesaikan konfigurasi, klik Deploy.
Platform secara otomatis membuat sumber daya PrivateLink, Private Hosted Zone, dan Security Group yang diperlukan saat membuat layanan model. Jangan menghapus atau mengedit sumber daya ini secara manual. Platform akan menghapusnya secara otomatis saat layanan model dirilis.
Setelah penerapan selesai, sistem melakukan tindakan berikut di akun Anda:
Sistem membuat endpoint PrivateLink di VPC default yang dikaitkan dengan kelompok sumber daya DataWorks dan membuat saluran komunikasi terenkripsi dengan layanan PrivateLink di VPC kelompok sumber daya DataWorks.
Sistem menambahkan catatan resolusi ke layanan Private Hosted Zone di akun Anda untuk mengaitkan nama domain pribadi dengan lingkungan VPC kelompok sumber daya DataWorks.
Manage services
Setelah layanan model dibuat, Anda dapat mengelola statusnya, melihat informasi layanan, mengatur pengaturan jaringan dan Kunci API, serta menyesuaikan sumber daya sesuai kebutuhan dari daftar Model Service.
Manage service state
Layanan model secara default dimulai setelah dibuat. Anda dapat mengelola statusnya di kolom Actions pada daftar Model Service.
Action | Resulting state | Resource consumption |
Start | Running | Mengonsumsi sumber daya dari kelompok sumber daya Serverless. |
Stop | Stopped | Tidak mengonsumsi sumber daya dari kelompok sumber daya Serverless. |
Delete | -- | Melepaskan semua sumber daya terkait secara permanen dari kelompok sumber daya Serverless. |
Service details
Tab Overview menampilkan informasi konfigurasi untuk layanan model saat ini, dan di tab Overview, Anda dapat mengelola Basic Information, Resource Configuration, dan Invocation Information layanan tersebut.
Di daftar Model Service, temukan layanan model target dan klik Service Name-nya untuk membuka tab Overview.
Lihat informasi dasar, sumber daya, dan pemanggilan untuk layanan model.
Basic Information: Termasuk Service Name model, Service ID, dan jenis Model.
Resource Allocation: Lihat informasi seperti Deployment Specification dan Number of Instances.
Invocation Information: Untuk menggunakan model dalam tugas node, klik ikon
di samping VPC Address Invocation Domain Name untuk menyalin nama domain.
Modify resources
Anda dapat mengubah nama layanan model yang sudah ada, menyesuaikan spesifikasi sumber daya, dan mengubah jumlah instans yang diterapkan.
Di daftar Model Service, temukan layanan model target dan klik Service Name-nya untuk membuka tab Overview.
Di bagian Resource Allocation, klik Modification untuk membuka halaman Modify Resources dan mengonfigurasi pengaturan.
PentingMemodifikasi sumber daya menyebabkan layanan restart, yang akan mengganggu ketersediaan layanan.
Network settings
Tab Network Configuration menampilkan lingkungan VPC yang saat ini dapat mengakses layanan model melalui jaringan internal. Di tab Network Configuration, Anda dapat menambah atau mengelola virtual private clouds (VPCs) yang digunakan untuk mengakses Model Service.
Di daftar Model Service, temukan layanan model target dan klik Service Name-nya untuk membuka tab Overview.
Beralih ke tab Network Configuration untuk melihat VPC yang saat ini dapat mengakses layanan model melalui jaringan pribadi.
Untuk memperluas cakupan akses, klik Add Network untuk mengizinkan lebih banyak VPC mengakses layanan model yang diterapkan di DataWorks.
Saat menambahkan jaringan, Anda harus menentukan VPC dan vSwitch. Anda dapat mengakses layanan model melalui VPC tersebut setelah status-nya berubah menjadi Available.
CatatanBilling: Setelah menambahkan VPC untuk layanan model, sistem membuat endpoint PrivateLink di VPC yang dipilih untuk membuat koneksi jaringan dengan kelompok sumber daya DataWorks. Catatan resolusi juga ditambahkan ke Private Hosted Zone. Proses ini menimbulkan biaya instans, biaya transfer data, dan biaya resolusi nama domain. Untuk informasi lebih lanjut, lihat Billing of PrivateLink dan Billing of Private Hosted Zone.
Limit: Anda dapat menambahkan maksimal tiga VPC untuk setiap layanan model.
Jika Anda tidak lagi ingin VPC mengakses layanan model, klik Delete untuk lingkungan VPC target.
Saat Anda menghapus VPC dari layanan model, endpoint PrivateLink yang dibuat di VPC tersebut juga dihapus.
API keys
Kunci API adalah kredensial otentikasi yang disediakan layanan model kepada pemanggil untuk memverifikasi identitas dan izin mereka. Anda dapat mengelola semua Kunci API untuk layanan model saat ini di tab API Key.
Di daftar Model Service, temukan layanan model target dan klik Service Name-nya untuk membuka tab Overview.
Beralih ke tab API Key untuk membuat, mengelola, dan menggunakan Kunci API:
Add API Key: Setelah layanan model diterapkan, platform menyertakan Kunci API bawaan untuk panggilan dari modul DataWorks lainnya. Untuk memanggil layanan model dari lingkungan lain menggunakan
Endpointlayanan, klik Add New API Key untuk membuat Kunci API baru.Kami menyarankan Anda membuat Kunci API terpisah untuk aplikasi yang berbeda.
View API Key: Di kolom Actions untuk Kunci API target, klik View, lalu klik Copy untuk mendapatkan Kunci API.
Delete API Key: Anda dapat Disable atau Delete Kunci API DataWorks.
PentingSebelum Anda disable atau delete Kunci API aktif, evaluasi dampak potensialnya. Setelah Kunci API disabled atau deleted, semua tugas yang menggunakan kunci tersebut untuk memanggil layanan akan gagal.
Operasi Disable atau Delete memerlukan waktu sekitar
5menit untuk berlaku.
Langkah selanjutnya
Setelah model diterapkan, Anda dapat menggunakan layanan model dalam tugas Anda.
Pemanggilan
Diagram dan deskripsi berikut menjelaskan cara kerja pemanggilan layanan model:
Saat Anda menerapkan layanan model di kelompok sumber daya DataWorks atau mengonfigurasi VPC untuknya, sistem secara otomatis melakukan tindakan berikut:
Sistem membuat koneksi cross-VPC dengan membuat endpoint PrivateLink di VPC Anda, yang membuat saluran komunikasi terenkripsi dengan layanan PrivateLink di VPC kelompok sumber daya DataWorks.
Tindakan ini secara otomatis membuat endpoint PrivateLink di akun Anda. Akun Anda harus memiliki layanan PrivateLink yang diaktifkan.
Sistem mengonfigurasi resolusi nama domain dengan secara otomatis menambahkan aturan ke VPC yang dikaitkan dengan layanan model. Hal ini memastikan bahwa permintaan nama domain internal secara otomatis diteruskan ke layanan model DataWorks.
Tindakan ini secara otomatis menerapkan layanan Private Hosted Zone di akun Anda. Akun Anda harus memiliki layanan ini yang diaktifkan.