Alibaba Cloud Model Studio:Optimasi kinerja RAG

2.2.1 Chunking cerdas

Memilih panjang chunk teks optimal untuk basis pengetahuan Anda bisa menantang karena bergantung pada beberapa faktor, seperti:

• Jenis dokumen: Untuk literatur profesional, chunk lebih panjang sering membantu mempertahankan lebih banyak konteks. Untuk posting media sosial, chunk lebih pendek dapat menangkap semantik lebih tepat.

• Kompleksitas prompt: Umumnya, jika prompt pengguna kompleks dan spesifik, Anda mungkin memerlukan chunk lebih panjang. Jika tidak, chunk lebih pendek mungkin lebih sesuai.

Kesimpulan ini tidak selalu berlaku untuk semua situasi. Anda perlu memilih alat yang tepat dan bereksperimen berulang kali untuk menemukan panjang chunk teks yang tepat. Misalnya, LlamaIndex menyediakan fungsi evaluasi untuk metode chunking berbeda. Namun, proses ini bisa rumit dan memakan waktu.

Untuk solusi cepat dan efektif, atur Document Chunking ke Intelligent Splitting saat membuat basis pengetahuan.

Saat strategi ini diterapkan, basis pengetahuan:

1. Pertama menggunakan pembatas kalimat bawaan untuk membagi dokumen menjadi paragraf.

2. Berdasarkan paragraf yang dibagi, secara adaptif memilih batas chunk berdasarkan relevansi semantik (chunking semantik), bukan menggunakan panjang tetap.

Proses ini memastikan integritas semantik setiap bagian dokumen dan menghindari pembagian yang tidak perlu. Strategi ini berlaku untuk semua dokumen dalam basis pengetahuan ini, termasuk dokumen yang diimpor kemudian.

2.2.2 Konten chunk yang benar

Tentu saja, selama proses chunking aktual, pemisahan tak terduga atau masalah lain masih dapat terjadi (misalnya, spasi dalam teks kadang-kadang diurai sebagai %20 setelah chunking).

Oleh karena itu, Model Studio merekomendasikan memeriksa secara manual konten chunk untuk integritas semantik dan kebenaran setelah mengimpor dokumen. Jika Anda menemukan chunk tak terduga atau kesalahan penguraian lain, Anda dapat mengedit chunk teks secara langsung untuk memperbaikinya. Setelah disimpan, konten asli chunk teks menjadi tidak valid, dan konten baru digunakan untuk pengambilan basis pengetahuan.

Perhatikan bahwa tindakan ini hanya memodifikasi chunk teks di basis pengetahuan, bukan dokumen asli atau tabel data di manajemen data Anda (penyimpanan sementara). Oleh karena itu, jika Anda mengimpor ulang dokumen, Anda harus melakukan pemeriksaan dan koreksi manual lagi.

2.3.1 Penulisan ulang percakapan multi-putaran

Dalam percakapan multi-putaran, pengguna mungkin mengajukan pertanyaan dengan prompt singkat, seperti "Model Studio Phone X1." Hal ini dapat menyebabkan sistem RAG kekurangan konteks yang diperlukan selama pengambilan karena alasan berikut:

• Produk ponsel sering memiliki beberapa generasi yang dijual secara bersamaan.

• Untuk generasi produk yang sama, produsen biasanya menawarkan beberapa opsi penyimpanan, seperti 128 GB dan 256 GB.

  ...

Informasi kunci ini mungkin telah diberikan dalam putaran percakapan sebelumnya. Menggunakannya secara efektif membantu RAG mengambil informasi yang lebih akurat.

Untuk mengatasi hal ini, Anda dapat menggunakan fitur Multi-round Conversation Rewriting di Model Studio. Sistem secara otomatis menulis ulang prompt pengguna menjadi bentuk yang lebih lengkap berdasarkan riwayat percakapan.

Misalnya, pengguna bertanya:

Model Studio Phone X1.

Dengan penulisan ulang percakapan multi-putaran diaktifkan, sistem menulis ulang prompt pengguna berdasarkan riwayat percakapan mereka sebelum pengambilan (contoh saja):

Berikan semua versi Model Studio Phone X1 yang tersedia di pustaka produk dan parameter spesifiknya.

Prompt yang ditulis ulang ini membantu RAG lebih memahami maksud pengguna dan memberikan respons yang lebih akurat.

Gambar berikut menunjukkan cara mengaktifkan fitur penulisan ulang percakapan multi-putaran. Fitur ini juga diaktifkan saat Anda memilih Recommended Configuration.

Perhatikan bahwa fitur penulisan ulang percakapan multi-putaran terikat pada basis pengetahuan. Setelah diaktifkan, fitur ini hanya berlaku untuk kueri yang terkait dengan basis pengetahuan saat ini. Pengaturan ini tidak dapat diubah nanti; Anda harus membuat ulang basis pengetahuan untuk mengaktifkannya.

2.3.2 Pemfilteran tag

Bagian ini hanya berlaku untuk basis pengetahuan pencarian dokumen.

Saat menggunakan aplikasi musik, Anda mungkin memfilter lagu berdasarkan artis untuk dengan cepat menemukan semua lagu oleh artis tersebut.

Demikian pula, menambahkan tag ke dokumen tidak terstruktur Anda memperkenalkan informasi terstruktur tambahan. Saat mengambil dari basis pengetahuan, aplikasi dapat terlebih dahulu memfilter dokumen berdasarkan tag, yang meningkatkan akurasi dan efisiensi pengambilan.

Model Studio mendukung dua metode berikut untuk mengatur tag:

• Atur tag saat mengunggah dokumen: Untuk langkah konsol, lihat Impor data.

• Edit tag di halaman Data Management: Untuk dokumen yang diunggah, klik Tag di sebelah kanan dokumen untuk mengedit tag-nya.

  

Model Studio mendukung dua metode berikut untuk menggunakan tag:

• Saat Anda memanggil aplikasi Model Studio menggunakan API, Anda dapat menentukan tag dalam parameter permintaan tags.

• Atur tag saat mengedit aplikasi di konsol. Namun, metode ini hanya berlaku untuk aplikasi agen.

  Perhatikan bahwa pengaturan ini berlaku untuk semua pertanyaan dan jawaban pengguna berikutnya untuk aplikasi agen ini.

  

2.3.3 Ekstraksi metadata

Bagian ini hanya berlaku untuk basis pengetahuan pencarian dokumen.

Menyematkan metadata ke dalam chunk teks dapat secara efektif meningkatkan konteks setiap chunk. Dalam skenario tertentu, metode ini dapat secara signifikan meningkatkan kinerja RAG basis pengetahuan pencarian dokumen.

Pertimbangkan skenario berikut:

Basis pengetahuan berisi banyak manual produk ponsel. Nama dokumen adalah model ponsel (seperti Model Studio X1 dan Model Studio Zephyr Z9), dan semua dokumen mencakup bab "Ikhtisar Fitur".

Jika metadata tidak diaktifkan untuk basis pengetahuan ini, pengguna mungkin memasukkan prompt berikut untuk pengambilan:

Ikhtisar fitur Model Studio Phone X1.

Pengujian pengambilan mengungkapkan chunk yang di-recall. Karena semua dokumen berisi "Ikhtisar Fitur", basis pengetahuan meng-recall beberapa chunk teks yang tidak terkait dengan entitas kueri (Model Studio Phone X1) tetapi mirip dengan prompt, seperti Chunk 1 dan Chunk 2 pada gambar. Peringkatnya bahkan lebih tinggi daripada chunk teks yang diperlukan, yang berdampak negatif pada kinerja RAG.

Hasil pengujian pengambilan menjamin peringkat, tetapi skor kemiripan absolut hanya sebagai referensi. Ketika perbedaan nilai absolut kecil (dalam 5%), probabilitas recall dapat dianggap sama.

Selanjutnya, atur nama ponsel sebagai metadata dengan mengikuti langkah-langkah dalam ekstraksi metadata. Ini melampirkan informasi nama ponsel yang sesuai ke chunk teks setiap dokumen. Kemudian, jalankan pengujian yang sama untuk perbandingan.

Pada titik ini, basis pengetahuan menambahkan lapisan pencarian terstruktur sebelum pencarian vektor. Proses lengkapnya adalah sebagai berikut:

1. Ekstrak metadata {"key": "name", "value": "Model Studio Phone X1"} dari prompt.

2. Berdasarkan metadata yang diekstrak, temukan semua chunk teks yang berisi metadata "Model Studio Phone X1".

3. Kemudian, lakukan pencarian vektor (semantik) untuk menemukan chunk teks paling relevan.

Setelah mengaktifkan metadata, basis pengetahuan kini dapat secara akurat menemukan chunk teks yang terkait dengan "Model Studio Phone X1" dan berisi "Ikhtisar Fitur".

Aplikasi umum lain untuk metadata adalah menyematkan informasi tanggal ke dalam chunk teks untuk memfilter konten terbaru. Lihat ekstraksi metadata.

2.3.4 Ambang batas kemiripan

Saat basis pengetahuan menemukan chunk teks yang terkait dengan prompt pengguna, chunk tersebut pertama-tama dikirim ke model Rank (dikonfigurasi di Custom parameter settings saat Anda membuat basis pengetahuan) untuk diurutkan ulang. Ambang batas kemiripan kemudian digunakan untuk memfilter chunk teks yang telah diurutkan ulang. Hanya chunk teks dengan skor kemiripan yang melebihi ambang batas ini yang dapat diberikan kepada model.

Menurunkan ambang batas ini dapat meng-recall lebih banyak chunk teks, tetapi juga dapat menyebabkan beberapa chunk teks yang kurang relevan di-recall. Menaikkan ambang batas ini dapat mengurangi jumlah chunk teks yang di-recall.

Jika ambang batas diatur terlalu tinggi, dapat menyebabkan basis pengetahuan membuang semua chunk teks relevan. Hal ini membatasi kemampuan model untuk mendapatkan informasi latar belakang yang cukup untuk menghasilkan jawaban.

Ambang batas optimal bergantung pada skenario Anda. Anda perlu bereksperimen dengan berbagai ambang batas kemiripan melalui pengujian pengambilan, mengamati hasil recall, dan menemukan solusi yang paling sesuai dengan kebutuhan Anda.

2.3.5 Jumlah chunk yang di-recall

Jumlah chunk yang di-recall adalah nilai K dalam strategi recall multi-channel. Setelah pemfilteran ambang batas kemiripan, jika jumlah chunk teks melebihi K, sistem memilih K chunk teks dengan skor kemiripan tertinggi untuk diberikan kepada model. Karena ini, nilai K yang tidak tepat dapat menyebabkan RAG melewatkan chunk teks yang benar, yang memengaruhi kemampuan model untuk menghasilkan jawaban lengkap.

Misalnya, pengguna mengambil informasi dengan prompt berikut:

Apa keunggulan ponsel Model Studio X1?

Ada 7 chunk teks di basis pengetahuan target yang relevan dengan prompt pengguna dan harus dikembalikan (ditandai hijau di sebelah kiri). Namun, karena jumlah ini melebihi jumlah maksimum chunk yang di-recall (K) yang diatur saat ini, chunk teks yang berisi keunggulan 5 (daya tahan ultra-panjang) dan keunggulan 6 (foto jernih) dibuang dan tidak diberikan kepada model.

Karena RAG tidak dapat menentukan berapa banyak chunk teks yang diperlukan untuk memberikan jawaban "lengkap", model akan menghasilkan jawaban berdasarkan chunk yang diberikan, meskipun tidak lengkap.

Banyak eksperimen menunjukkan bahwa dalam skenario seperti "Daftar...," "Ringkas...," dan "Bandingkan X dan Y...," memberikan lebih banyak chunk teks berkualitas tinggi (misalnya, K=20) kepada model lebih efektif daripada hanya memberikan 10 atau 5 teratas. Meskipun ini dapat memperkenalkan noise, jika kualitas chunk teks tinggi, model yang mumpuni biasanya dapat menanganinya.

Anda dapat menyesuaikan Number of Recalled Chunks saat mengedit aplikasi di Model Studio.

Namun, jumlah chunk yang di-recall lebih besar tidak selalu lebih baik. Kadang-kadang, setelah chunk teks yang di-recall dirakit, panjang totalnya dapat melebihi batas panjang input model, menyebabkan pemotongan dan berdampak negatif pada kinerja RAG.

Pilih Intelligent Assembly. Strategi ini meng-recall sebanyak mungkin chunk teks relevan tanpa melebihi panjang input maksimum model.

Metode 1: Batasi konten output

Anda dapat memberikan informasi kontekstual, instruksi, dan format output yang diharapkan dalam templat prompt untuk menginstruksikan model. Misalnya, Anda dapat menambahkan instruksi output berikut:

Jika informasi yang diberikan tidak cukup untuk menjawab pertanyaan, nyatakan dengan jelas, "Berdasarkan informasi yang ada, saya tidak dapat menjawab pertanyaan ini." Jangan mengarang jawaban.

Hal ini mengurangi kemungkinan halusinasi model.

Metode 2: Tambahkan contoh

Gunakan metode few-shot prompting untuk menambahkan contoh tanya jawab ke prompt agar model menirunya. Ini memandu model untuk menggunakan pengetahuan yang diambil dengan benar. Contoh berikut menggunakan Qwen-Plus.

# Requirement
Silakan ekstrak spesifikasi teknis dari teks di bawah ini dan tampilkan dalam format JSON.
${documents}

# Requirement
Silakan ekstrak spesifikasi teknis dari teks di bawah ini dan tampilkan dalam format JSON. Ikuti secara ketat bidang yang diberikan dalam contoh.
${documents}

# Example
## Input: Stardust S9 Pro, desain kamera bawah layar revolusioner 6,9 inci resolusi 1440 x 3088 piksel, menghadirkan pengalaman visual tanpa batas. Konfigurasi tertinggi dengan penyimpanan 512 GB dan RAM 16 GB, dikombinasikan dengan baterai 6000 mAh dan teknologi pengisian cepat 100 W, memungkinkan kinerja dan daya tahan berjalan beriringan, memimpin tren teknologi. Harga referensi: 5999 - 6499.
## Output: { "product":"Stardust S9 Pro", "screen_size":"6.9inch", "ram_size": "16GB", "battery":"6000mAh" }

Metode 3: Tambahkan pembatas konten

Jika chunk teks yang diambil dicampur secara acak dalam templat prompt, model besar akan kesulitan memahami struktur prompt secara keseluruhan. Pisahkan secara jelas prompt dari variabel ${documents}.

Selain itu, untuk memastikan hasil terbaik, pastikan variabel ${documents} muncul hanya sekali dalam templat prompt Anda. Sebagai referensi, lihat contoh benar di sebelah kiri di bawah ini.

# Role
Anda adalah perwakilan layanan pelanggan, fokus menganalisis dan menyelesaikan masalah pengguna serta memberikan solusi akurat dengan mengambil dari basis pengetahuan.

# Requirements
**Kembalikan hasil langsung**: Berikan hasil langsung berdasarkan prompt pengguna dan konten di basis pengetahuan, tanpa
inferensi.
**Jangan sertakan informasi kontak spesifik dalam hasil yang dikembalikan**: Hasil yang dikembalikan hanya boleh mencakup ringkasan prompt pengguna, nama
personel tugas terkait, dan tanggung jawab mereka.
**Kontak default**: Jika tidak ditemukan personel tugas terkait, kembalikan "Perwakilan tugas hari ini: Layanan Pelanggan Model Studio 01".

# Knowledge base
Ingat materi berikut, mereka mungkin membantu dalam menjawab pertanyaan.
${documents}

# Role
Anda adalah perwakilan layanan pelanggan, fokus menganalisis dan menyelesaikan masalah pengguna serta memberikan solusi akurat dengan mengambil dari basis pengetahuan.
Silakan gunakan informasi dalam ${documents} untuk membantu menjawab.

# Requirements
**Kembalikan hasil langsung**: Berikan hasil langsung berdasarkan prompt pengguna dan konten di basis pengetahuan, tanpa
inferensi.
**Jangan sertakan informasi kontak spesifik dalam hasil yang dikembalikan**: Hasil yang dikembalikan hanya boleh mencakup ringkasan prompt pengguna, nama
personel tugas terkait, dan tanggung jawab mereka.
**Kontak default**: Jika tidak ditemukan personel tugas terkait, kembalikan "Perwakilan tugas hari ini: Layanan Pelanggan Model Studio 01".

# Knowledge base
Ingat materi berikut, mereka mungkin membantu dalam menjawab pertanyaan.
${documents}