Penyesuaian model memungkinkan Anda meningkatkan performa model embedding teks menggunakan data bisnis Anda. Anda juga dapat melatih model reduksi dimensionalitas embedding kustom dengan data embedding yang disediakan. Dalam skenario bisnis umum, pertama-tama vektorisasi teks atau kueri menggunakan model embedding. Kemudian, gunakan model reduksi dimensionalitas embedding untuk mengurangi dimensi embedding.
Informasi Latar Belakang
Dalam skenario pencarian cerdas dan generasi berbasis pengambilan data (RAG), performa model embedding sangat penting bagi hasil bisnis. Namun, efektivitas model tujuan umum di domain tertentu sering kali dibatasi oleh cakupan data pelatihan mereka. Untuk meningkatkan performa pengambilan, Anda dapat menyetel ulang model tujuan umum dengan data bisnis Anda. Sementara itu, dimensi model embedding terus bertambah, menyebabkan peningkatan signifikan dalam biaya penyimpanan dan komputasi untuk vektorisasi data berskala besar. Oleh karena itu, Platform Terbuka AI Search menyediakan layanan reduksi dimensionalitas embedding. Layanan ini menggunakan model kustom untuk mengonversi vektor berdimensi tinggi menjadi vektor berdimensi lebih rendah, menghemat biaya tanpa secara signifikan mengurangi performa vektorisasi.
Penyesuaian layanan reduksi dimensionalitas embedding
Di Platform Terbuka AI Search Konsol, pilih Model Service > Model Customization, lalu klik Create.
Jika Anda menggunakan akun RAM untuk membuat model, mengubah konfigurasi, melihat detail model, atau melakukan operasi lainnya, Anda harus memberikan izin operasi layanan model yang diperlukan kepada akun RAM terlebih dahulu.
Di halaman Model Customization, konfigurasikan parameter berikut:
Parameter
Deskripsi
Nama Model
Nama model yang akan digunakan saat Anda memanggil layanan reduksi dimensionalitas embedding.
Tipe Model
Tipe model yang akan dilatih. Pilih Vector Dimensionality Reduction (embedding-dim-reduction).
Model Dasar
Model dasar yang digunakan untuk pelatihan, seperti ops-embedding-dim-reduction-001.
Sumber Data
maxCompute atau oss
MaxCompute
Parameter
Deskripsi
Sumber Data
MaxCompute
Wilayah
Wilayah tempat proyek MaxCompute berada.
Nama Proyek
Nama proyek di MaxCompute.
ID AccessKey
ID AccessKey dari akun Alibaba Cloud atau Pengguna RAM yang memiliki izin untuk membaca dan menulis ke MaxCompute.
Anda dapat pergi ke halaman Manajemen AccessKey untuk mendapatkan ID AccessKey.
Rahasia
Rahasia AccessKey yang sesuai dengan ID AccessKey.
Nama Tabel
Nama tabel yang menyimpan data pelatihan di MaxCompute.
Partisi Tabel
Informasi partisi tabel.
Bidang Pelatihan
Anda harus memberikan izin Grant GetTableFields (untuk mengambil skema tabel MaxCompute) kepada Pengguna RAM yang digunakan untuk membaca dan menulis skema tabel MaxCompute. Ini memungkinkan Anda memilih bidang kunci utama dan bidang embedding tipe String. Dimensi bidang embedding harus berkisar antara 1024 hingga 4096.
OSS
Parameter
Deskripsi
Sumber Data
OSS
Wilayah
Wilayah tempat Bucket OSS berada.
Bucket OSS
Nama Bucket OSS.
Data Dokumen
Data di OSS yang digunakan untuk pelatihan.
Endpoint OSS
Dibuat setelah Anda menyelesaikan konfigurasi sebelumnya.
Klik OK. Di kotak dialog yang muncul, klik Create and Train. Model kemudian diproses sebelumnya, dan pelatihan dimulai setelah pra-pemrosesan selesai.
Jika Anda klik Confirm Creation, model ditambahkan ke daftar penyesuaian model dengan status To Be Trained dan dapat dilatih nanti.
Di daftar model, model dengan status Active telah menyelesaikan pelatihan dan dapat dipanggil. Klik Experience untuk menguji model embedding yang disetel ulang.
Penyesuaian layanan embedding teks
Di Platform Terbuka AI Search Konsol, pilih Model Service > Model Customization, lalu klik Create.
Jika Anda menggunakan Pengguna RAM untuk melakukan operasi seperti membuat model, mengubah konfigurasi, atau melihat detail model, Anda harus memberikan izin yang diperlukan untuk layanan model kepada Pengguna RAM terlebih dahulu.
Di halaman Model Customization, konfigurasikan parameter berikut:
Parameter
Deskripsi
Nama Model
Menawarkan penyesuaian.
Tipe Model
Tipe model yang akan dilatih. Pilih Text Embedding (text-embedding).
Model Dasar
Model dasar yang digunakan untuk pelatihan, seperti ops-text-embedding-001.
Reduksi Dimensionalitas
Jika Anda mengaktifkan opsi ini, pelatihan reduksi dimensionalitas embedding dilakukan pada saat yang sama.
Model Dasar untuk Reduksi
Model yang digunakan untuk reduksi dimensionalitas. Parameter ini tersedia hanya ketika Anda mengaktifkan reduksi dimensionalitas embedding.
Sumber Data
maxCompute atau oss
MaxCompute
Parameter
Deskripsi
Sumber Data
MaxCompute.
Wilayah
Wilayah tempat proyek MaxCompute berada.
Nama Proyek
Nama proyek di MaxCompute.
ID AccessKey
ID AccessKey dari akun Alibaba Cloud atau Pengguna RAM yang memiliki izin untuk membaca dan menulis ke MaxCompute.
Anda dapat pergi ke halaman Manajemen AccessKey untuk mendapatkan ID AccessKey.
Rahasia
Rahasia AccessKey yang sesuai dengan ID AccessKey.
Nama Tabel
Nama tabel yang menyimpan data pelatihan di MaxCompute.
Partisi Tabel
Informasi partisi tabel.
Bidang Pelatihan
Anda harus memberikan izin GetTableFields (untuk mengambil skema tabel MaxCompute) kepada Pengguna RAM yang digunakan untuk membaca dan menulis skema tabel MaxCompute. Ini memungkinkan Anda memilih bidang kunci utama dan data teks tipe String.
query-doc pair
Untuk informasi lebih lanjut, lihat data sampel di konsol.
OSS
Parameter
Deskripsi
Sumber Data
OSS
Wilayah
Wilayah tempat Bucket OSS berada.
Bucket OSS
Nama Bucket OSS.
Data Dokumen
Data di OSS yang digunakan untuk pelatihan.
query-doc pair
Untuk informasi lebih lanjut, lihat data sampel di konsol.
Endpoint OSS
Dibuat oleh sistem setelah Anda menyelesaikan konfigurasi sebelumnya.
Klik OK. Di kotak dialog yang muncul, klik Create and Train. Model mulai pra-pemrosesan, dan pelatihan dimulai setelah pra-pemrosesan selesai.
Setelah Anda klik Confirm Creation, model muncul di daftar penyesuaian model dengan status To Be Trained. Anda dapat memulai pelatihan di waktu lain.
Di daftar model, model dengan status Active telah menyelesaikan pelatihan dan dapat disebarluaskan.
Pemanggilan Layanan
Ketika layanan model memenuhi persyaratan Anda, Anda dapat memanggil layanan tersebut menggunakan API. Untuk informasi lebih lanjut, lihat embedding API Layanan Reduksi Dimensionalitas dan API Layanan Penyebaran Kustom.