Alibaba Cloud Model Studio:Optimalkan kinerja RAG

2.2.1 Pemotongan cerdas

Memilih panjang potongan teks yang tepat untuk basis pengetahuan Anda tidaklah mudah karena Anda harus mempertimbangkan banyak faktor, seperti:

• Jenis Dokumen: Misalnya, untuk literatur profesional, meningkatkan panjang biasanya membantu mempertahankan lebih banyak informasi kontekstual. Untuk posting media sosial, mempersingkat panjang dapat menangkap semantik dengan lebih akurat.

• Kompleksitas Prompt: Secara umum, jika prompt pengguna kompleks dan spesifik, Anda mungkin perlu meningkatkan panjang. Sebaliknya, mempersingkat panjang lebih sesuai.

Kesimpulan ini tidak selalu berlaku untuk semua situasi. Anda perlu memilih alat yang tepat dan bereksperimen berulang kali untuk menemukan panjang potongan teks yang tepat. Misalnya, LlamaIndex menyediakan fungsi evaluasi untuk metode pemotongan yang berbeda. Namun, proses ini bisa sulit.

Jika Anda ingin mencapai hasil yang baik dengan cepat, kami sarankan Anda memilih Intelligent Splitting untuk Document Splitting saat Anda membuat basis pengetahuan.

Saat strategi ini diterapkan, basis pengetahuan melakukan langkah-langkah berikut:

1. Pertama, gunakan pemisah kalimat bawaan sistem untuk membagi dokumen menjadi beberapa paragraf.

2. Berdasarkan paragraf yang dibagi, pilih titik pemotongan secara adaptif untuk pemotongan berdasarkan relevansi semantik (pemotongan semantik), bukan berdasarkan panjang tetap.

Selama proses ini, basis pengetahuan berusaha memastikan integritas semantik dari setiap bagian dokumen dan mencoba menghindari pembagian dan pemotongan yang tidak perlu. Strategi ini diterapkan pada semua dokumen dalam basis pengetahuan ini, termasuk dokumen yang diimpor kemudian.

2.2.2 Memperbaiki isi potongan teks

Dalam proses pemotongan aktual, pemotongan yang tidak terduga atau masalah lainnya masih dapat terjadi. Misalnya, spasi dalam teks kadang-kadang diurai sebagai %20 setelah pemotongan.

Oleh karena itu, Model Studio merekomendasikan agar Anda melakukan pemeriksaan manual setelah mengimpor dokumen ke basis pengetahuan untuk memastikan integritas semantik dan kebenaran isi potongan teks. Jika Anda menemukan pemotongan yang tidak terduga atau kesalahan penguraian lainnya, Anda dapat mengedit potongan teks secara langsung untuk memperbaikinya. Setelah Anda menyimpan perubahan, isi asli dari potongan teks menjadi tidak valid, dan konten baru digunakan untuk pengambilan basis pengetahuan.

Catatan bahwa tindakan ini hanya memodifikasi potongan teks dalam basis pengetahuan, bukan dokumen asli atau tabel data dalam manajemen data (penyimpanan sementara). Oleh karena itu, jika Anda mengimpor dokumen tersebut ke basis pengetahuan lagi nanti, Anda harus melakukan pemeriksaan dan koreksi manual lainnya.

2.3.1 Penulisan ulang percakapan multi-putaran

Dalam percakapan multi-putaran, pengguna mungkin bertanya dengan prompt singkat, seperti "Telepon Bailian X1". Prompt ini dapat menyebabkan sistem RAG kekurangan konteks yang diperlukan selama pengambilan karena alasan berikut:

• Produk telepon biasanya memiliki beberapa generasi yang tersedia untuk dijual pada saat yang bersamaan.

• Untuk generasi produk yang sama, pabrikan biasanya menyediakan beberapa opsi kapasitas penyimpanan, seperti 128 GB dan 256 GB.

  ...

Pengguna mungkin sudah memberikan informasi kunci ini di putaran percakapan sebelumnya. Menggunakan informasi ini secara efektif dapat membantu RAG mengambil informasi yang lebih akurat.

Untuk mengatasi situasi ini, Anda dapat menggunakan fitur Multi-round Conversation Rewriting di Model Studio. Sistem secara otomatis menulis ulang prompt pengguna menjadi bentuk yang lebih lengkap berdasarkan riwayat percakapan.

Sebagai contoh, pengguna bertanya:

Telepon Bailian X1.

Saat fitur penulisan ulang percakapan multi-putaran diaktifkan, sistem menulis ulang prompt pengguna berdasarkan riwayat percakapan mereka sebelum pengambilan, seperti yang ditunjukkan dalam contoh berikut:

Berikan semua versi yang tersedia dari Telepon Bailian X1 di perpustakaan produk dan parameter spesifik mereka.

Prompt yang ditulis ulang ini membantu RAG lebih memahami maksud pengguna dan memberikan respons yang lebih akurat.

Gambar di bawah ini menunjukkan cara mengaktifkan fitur penulisan ulang percakapan multi-putaran. Fitur ini juga diaktifkan saat Anda memilih Recommended.

Catatan bahwa fitur penulisan ulang percakapan multi-putaran terikat pada basis pengetahuan. Setelah diaktifkan, fitur ini hanya berlaku untuk kueri yang terkait dengan basis pengetahuan saat ini. Jika Anda tidak mengaktifkan konfigurasi ini saat membuat basis pengetahuan, Anda tidak dapat mengaktifkannya nanti kecuali Anda membuat ulang basis pengetahuan.

2.3.2 Penyaringan tag

Konten bagian ini hanya berlaku untuk basis pengetahuan pencarian dokumen.

Saat Anda menggunakan aplikasi musik, Anda mungkin menyaring lagu berdasarkan nama artis untuk dengan cepat menemukan lagu dari artis tersebut.

Demikian pula, menambahkan tag ke dokumen tanpa struktur Anda memperkenalkan informasi terstruktur tambahan. Ini memungkinkan aplikasi untuk menyaring dokumen berdasarkan tag saat mengambil dari basis pengetahuan, yang meningkatkan akurasi dan efisiensi pengambilan.

Model Studio mendukung dua metode untuk menyetel tag:

• Tetapkan tag saat mengunggah dokumen: Untuk langkah-langkah di konsol, lihat Impor Data.

• Edit tag di halaman Data Management: Untuk dokumen yang diunggah, Anda dapat mengklik Tag di sebelah kanan dokumen untuk mengedit.

  

Model Studio mendukung dua metode untuk menggunakan tag:

• Saat Anda memanggil aplikasi melalui API, Anda dapat menentukan tag dalam parameter permintaan tags.

• Tetapkan tag saat mengedit aplikasi di konsol. Namun, metode ini hanya berlaku untuk aplikasi agen.

  Catatan bahwa pengaturan ini berlaku untuk semua pertanyaan dan jawaban berikutnya untuk aplikasi agen ini.

  

2.3.3 Ekstraksi metadata

Konten bagian ini hanya berlaku untuk basis pengetahuan pencarian dokumen.

Menyematkan metadata ke dalam potongan teks dapat secara efektif meningkatkan informasi kontekstual dari setiap potongan. Dalam skenario tertentu, metode ini dapat secara signifikan meningkatkan kinerja RAG dari basis pengetahuan pencarian dokumen.

Pertimbangkan skenario berikut:

Basis pengetahuan berisi banyak dokumen deskripsi produk telepon genggam. Nama dokumen adalah model telepon (seperti Bailian X1, Bailian Zephyr Z9, dll.), dan semua dokumen mencakup bab "Ikhtisar Fungsi".

Jika metadata tidak diaktifkan untuk basis pengetahuan ini, pengguna mungkin memasukkan prompt berikut untuk pengambilan:

Ikhtisar fungsi Telepon Bailian X1.

Tes pengambilan menunjukkan potongan mana yang diingat kembali, seperti yang ditunjukkan pada gambar berikut. Karena semua dokumen berisi bagian "Ikhtisar Fungsi", basis pengetahuan mengingat kembali beberapa potongan teks yang tidak terkait dengan entitas kueri (Bailian Phone X1) tetapi mirip dengan prompt, seperti Potongan 1 dan Potongan 2 pada gambar. Peringkat mereka bahkan lebih tinggi daripada potongan teks yang sebenarnya dibutuhkan. Hal ini jelas mempengaruhi kinerja RAG.

Hasil pengambilan tes hanya menjamin peringkat. Nilai absolut dari skor kesamaan hanya untuk referensi. Ketika perbedaan nilai absolut kecil (dalam 5%), probabilitas pengambilan dapat dianggap sama.

Selanjutnya, atur nama telepon sebagai metadata. Ini setara dengan menambahkan informasi nama telepon yang sesuai ke potongan teks dari setiap dokumen. Anda dapat mengikuti langkah-langkah di ekstraksi metadata dan kemudian jalankan tes yang sama untuk perbandingan.

Pada titik ini, basis pengetahuan menambahkan lapisan pencarian terstruktur sebelum pencarian vektor. Prosesnya adalah sebagai berikut:

1. Ekstrak metadata {"key": "name", "value": "Bailian Phone X1"} dari prompt.

2. Berdasarkan metadata yang diekstraksi, temukan semua potongan teks yang berisi metadata "Bailian Phone X1".

3. Kemudian, lakukan pencarian vektor (semantik) untuk menemukan potongan teks yang paling relevan.

Efek pengambilan aktual dari tes pengambilan setelah mengaktifkan metadata ditunjukkan pada gambar berikut. Seperti yang Anda lihat, basis pengetahuan sekarang dapat secara akurat menemukan potongan teks yang terkait dengan "Bailian Phone X1" dan berisi "Ikhtisar Fungsi".

Aplikasi umum lainnya dari metadata adalah menyematkan informasi tanggal dalam potongan teks untuk menyaring konten terbaru. Untuk informasi lebih lanjut tentang penggunaan metadata, lihat ekstraksi metadata.

2.3.4 Menyesuaikan ambang kesamaan

Saat basis pengetahuan menemukan potongan teks yang terkait dengan prompt pengguna, ia pertama-tama mengirimkannya ke model Rank untuk diurutkan ulang. Anda dapat mengonfigurasikan ini di Pengaturan Parameter Kustom saat Anda membuat basis pengetahuan. Kemudian, ambang kesamaan digunakan untuk menyaring potongan teks yang diurutkan ulang. Hanya potongan teks dengan skor kesamaan yang melebihi ambang ini yang kemungkinan besar akan diberikan kepada model.

Menurunkan ambang ini mungkin merecall lebih banyak potongan teks, tetapi juga dapat menyebabkan beberapa potongan teks yang kurang relevan direcall. Meningkatkan ambang ini mungkin mengurangi jumlah potongan teks yang direcall.

Jika diatur terlalu tinggi, seperti yang ditunjukkan pada gambar berikut, mungkin menyebabkan basis pengetahuan membuang semua potongan teks yang relevan. Ini membatasi kemampuan model untuk mendapatkan informasi latar belakang yang cukup untuk menghasilkan jawaban.

Tidak ada ambang terbaik tunggal, hanya yang paling sesuai untuk skenario Anda. Anda perlu bereksperimen dengan ambang kesamaan yang berbeda melalui tes pengambilan, amati hasil pengambilan, dan temukan solusi yang paling sesuai dengan kebutuhan Anda.

2.3.5 Tingkatkan jumlah potongan yang direcall

Jumlah potongan yang diingat kembali adalah nilai K dalam strategi pengambilan multi-saluran. Setelah penyaringan ambang kesamaan, jika jumlah potongan teks melebihi K, sistem memilih K potongan teks dengan skor kesamaan tertinggi untuk diberikan kepada model. Karena itu, nilai K yang tidak tepat dapat menyebabkan RAG melewatkan potongan teks yang benar, yang memengaruhi kemampuan model untuk menghasilkan jawaban yang lengkap.

Sebagai contoh, dalam kasus berikut, pengguna mengambil dengan prompt berikut:

Apa keunggulan telepon Bailian X1?

Seperti yang Anda lihat pada diagram berikut, ada total 7 potongan teks di basis pengetahuan target yang terkait dengan prompt pengguna dan harus dikembalikan. Ini ditandai dengan warna hijau di sebelah kiri. Namun, karena jumlah ini melebihi jumlah maksimum potongan yang diingat kembali (K) yang diatur saat ini, potongan teks yang berisi keunggulan 5 (daya tahan ultra-panjang) dan keunggulan 6 (foto jernih) dibuang dan tidak diberikan kepada model.

Karena RAG tidak dapat menentukan berapa banyak potongan teks yang diperlukan untuk memberikan jawaban yang lengkap, model akan menghasilkan jawaban berdasarkan potongan-potongan yang diberikan, meskipun mereka tidak lengkap.

Banyak eksperimen menunjukkan bahwa dalam skenario yang memerlukan daftar, ringkasan, atau perbandingan, memberikan lebih banyak potongan teks berkualitas tinggi (misalnya, K=20) kepada model lebih efektif daripada hanya memberikan 10 teratas atau 5 teratas. Meskipun ini mungkin memperkenalkan noise, jika kualitas potongan teks tinggi, model biasanya dapat mengimbangi dampak dari noise tersebut.

Anda dapat menyesuaikan Number Of Recalled Chunks saat Anda mengedit aplikasi.

Catatan bahwa jumlah potongan yang diingat kembali yang lebih besar tidak selalu lebih baik. Terkadang, setelah potongan teks yang diingat kembali dirakit, panjang total mereka mungkin melebihi batas panjang input model. Hal ini menyebabkan beberapa potongan teks dipotong, yang pada gilirannya memengaruhi kinerja RAG.

Oleh karena itu, kami sarankan Anda memilih Intelligent Assembly. Strategi ini mengingat kembali sebanyak mungkin potongan teks yang relevan tanpa melebihi panjang input maksimum model.

Metode 1: Batasi Isi Output

Anda dapat memberikan informasi kontekstual, instruksi, dan format output yang diharapkan dalam template prompt untuk menginstruksikan model. Misalnya, Anda dapat menambahkan instruksi output berikut untuk meminta model:

Jika informasi yang disediakan tidak cukup untuk menjawab pertanyaan, harap nyatakan dengan jelas, "Berdasarkan informasi yang ada, saya tidak dapat menjawab pertanyaan ini." Jangan membuat jawaban.

Ini mengurangi kemungkinan model menghasilkan halusinasi.

Metode 2: Tambahkan Contoh

Gunakan metode Few-Shot Prompting untuk menambahkan contoh pertanyaan-jawaban ke prompt agar model dapat menirunya. Ini membimbing model untuk menggunakan pengetahuan yang diambil dengan benar. Contoh berikut menggunakan Qwen-Plus.

# Persyaratan
Harap ekstrak spesifikasi teknis dari teks di bawah ini dan tampilkan dalam format JSON.
${documents}

# Persyaratan
Harap ekstrak spesifikasi teknis dari teks di bawah ini dan tampilkan dalam format JSON. Harap ikuti secara ketat bidang-bidang yang diberikan dalam contoh.
${documents}

# Contoh
## Input: Stardust S9 Pro, desain kamera layar bawah yang inovatif dengan ukuran 6,9 inci dan resolusi 1440 x 3088 piksel, membawa pengalaman visual tanpa batas. Konfigurasi teratas dengan penyimpanan 512 GB dan RAM 16 GB, dikombinasikan dengan baterai 6000 mAh dan teknologi pengisian cepat 100 W, memungkinkan performa dan masa pakai baterai berjalan seiring, memimpin tren teknologi. Harga referensi: 5999 - 6499.
## Output: { "product":"Stardust S9 Pro", "screen_size":"6.9inch", "ram_size": "16GB", "battery":"6000mAh" }

Metode 3: Menambahkan Konten delimiter

Jika potongan teks yang diambil dicampur secara acak dalam template prompt, sulit bagi model untuk memahami struktur keseluruhan prompt. Oleh karena itu, kami sarankan Anda memisahkan prompt dan variabel ${documents} dengan jelas.

Selain itu, untuk memastikan efek terbaik, pastikan bahwa variabel ${documents} muncul hanya sekali dalam template prompt Anda. Untuk informasi lebih lanjut, lihat contoh yang benar di sebelah kiri dalam tabel berikut.

# Peran
Anda adalah perwakilan layanan pelanggan, fokus pada menganalisis dan menyelesaikan masalah pengguna, serta memberikan solusi yang akurat dengan mengambil basis pengetahuan.

# Persyaratan
**Kembalikan hasil secara langsung**: Harap berikan hasil langsung berdasarkan prompt pengguna dan konten dalam basis pengetahuan, tanpa inferensi.
**Jangan sertakan informasi kontak spesifik dalam hasil yang dikembalikan**: Hasil yang dikembalikan hanya boleh mencakup ringkasan prompt pengguna, nama personel yang bertugas terkait, dan tanggung jawab mereka.
**Kontak default**: Jika tidak ada personel yang bertugas terkait yang ditemukan, harap kembalikan "Perwakilan bertugas hari ini: Layanan Pelanggan Model Studio 01".

# Basis Pengetahuan
Harap ingat materi-materi berikut, mereka mungkin membantu menjawab pertanyaan.
${documents}

# Peran
Anda adalah perwakilan layanan pelanggan, fokus pada menganalisis dan menyelesaikan masalah pengguna, serta memberikan solusi yang akurat dengan mengambil basis pengetahuan.
Harap gunakan informasi dalam ${documents} untuk membantu menjawab.

# Persyaratan
**Kembalikan hasil secara langsung**: Harap berikan hasil langsung berdasarkan prompt pengguna dan konten dalam basis pengetahuan, tanpa inferensi.
**Jangan sertakan informasi kontak spesifik dalam hasil yang dikembalikan**: Hasil yang dikembalikan hanya boleh mencakup ringkasan prompt pengguna, nama personel yang bertugas terkait, dan tanggung jawab mereka.
**Kontak default**: Jika tidak ada personel yang bertugas terkait yang ditemukan, harap kembalikan "Perwakilan bertugas hari ini: Layanan Pelanggan Model Studio 01".

# Basis Pengetahuan
Harap ingat materi-materi berikut, mereka mungkin membantu menjawab pertanyaan.
${documents}