Large Language Models (LLMs) mungkin tidak memiliki data spesifik perusahaan atau data real-time. Teknologi Retrieval-Augmented Generation (RAG) meningkatkan akurasi dan relevansi respons model dengan memberikan akses kontekstual LLM ke basis pengetahuan privat. Anda dapat menggunakan LangStudio untuk mengembangkan dan menerapkan aplikasi RAG untuk domain khusus seperti keuangan dan kesehatan.
Informasi latar belakang
Dalam pengambilan informasi modern, model RAG menggabungkan keunggulan pengambilan informasi dan artificial intelligence generatif untuk memberikan jawaban yang lebih akurat dan relevan dalam skenario tertentu. Misalnya, di bidang khusus seperti keuangan dan kesehatan, pengguna sering memerlukan informasi yang tepat dan relevan untuk mendukung pengambilan keputusan. Model generatif tradisional unggul dalam pemahaman bahasa alami dan generasi teks, tetapi mungkin kurang akurat dalam pengetahuan spesialis. Model RAG meningkatkan akurasi dan relevansi kontekstual jawaban dengan mengintegrasikan teknologi pengambilan dan generasi. Platform for AI (PAI) menyediakan solusi RAG yang disesuaikan untuk skenario keuangan dan kesehatan.
Prasyarat
LangStudio mendukung Faiss atau Milvus sebagai vector database. Jika Anda ingin menggunakan Milvus, Anda harus terlebih dahulu membuat database Milvus.
CatatanFaiss biasanya digunakan untuk lingkungan staging dan tidak mengharuskan Anda membuat database. Di lingkungan produksi, gunakan Milvus karena dapat memproses volume data yang lebih besar.
Korpus untuk basis pengetahuan RAG telah diunggah ke OSS. Korpus sampel berikut disediakan untuk skenario keuangan dan kesehatan:
Berita keuangan: Set data ini dalam format PDF dan terutama terdiri dari laporan berita dari situs web berita publik.
Pengenalan penyakit: Set data ini dalam format CSV dan terutama terdiri dari pengenalan penyakit dari Wikipedia.
1. (Opsional) Terapkan LLM dan model embedding
Alur aplikasi RAG memerlukan layanan LLM dan model embedding. Anda dapat dengan cepat menerapkan layanan model yang diperlukan menggunakan Model Gallery. Jika Anda sudah memiliki layanan model yang kompatibel dan mendukung OpenAI API, Anda dapat melewati langkah ini dan menggunakan layanan yang sudah ada.
Buka QuickStart > Model Gallery dan terapkan model untuk dua skenario berikut. Untuk informasi selengkapnya tentang penerapan, lihat Penerapan dan pelatihan model.
Pilih LLM yang menggunakan instruction tuning. Model dasar tidak dapat mengikuti instruksi pengguna secara benar untuk menjawab pertanyaan.
Atur Scenario ke AIGC > large-language-model dan terapkan model DeepSeek-R1-Distill-Qwen-7B sebagai contoh.
Atur Scenario ke NLP > embedding dan terapkan model bge-m3 embedding model sebagai contoh.
2. Buat koneksi
Koneksi layanan LLM dan model embedding dalam topik ini didasarkan pada layanan model (layanan EAS) yang diterapkan di QuickStart > Model Gallery. Untuk informasi selengkapnya tentang jenis koneksi lainnya, lihat Konfigurasi koneksi.
2.1 Buat koneksi layanan LLM
Buka LangStudio, pilih ruang kerja, lalu pada tab Model Service di halaman Service Connection Configuration, klik New Connection untuk membuat koneksi layanan model LLM serbaguna.
Parameter utama:
Parameter | Deskripsi |
Model Name | Saat Anda menerapkan model dari Model Gallery, Anda dapat menemukan cara mendapatkan nama model di halaman produk model tersebut. Untuk membuka halaman produk, klik kartu model di halaman Model Gallery. Untuk informasi selengkapnya, lihat Buat koneksi layanan model. |
Service Provider |
|
2.2 Buat koneksi layanan model embedding
Seperti halnya membuat koneksi layanan LLM pada Langkah 2.1, Anda dapat membuat koneksi layanan model embedding tujuan umum.
2.3 Buat koneksi database vektor
Pada tab Database di halaman Service Connection Configuration, klik New Connection untuk membuat koneksi database Milvus.
Parameter utama:
Parameter | Deskripsi |
uri | Titik akhir instans Milvus. Formatnya adalah |
token | Username dan password untuk login ke instans Milvus. Formatnya adalah |
database | Nama database. Contoh berikut menggunakan database default |
3. Buat indeks basis pengetahuan
Anda dapat membuat indeks basis pengetahuan untuk mengurai, membagi menjadi chunk, dan melakukan vektorisasi korpus. Hasilnya kemudian disimpan di database vektor untuk membangun basis pengetahuan. Tabel berikut menjelaskan parameter utama. Untuk informasi selengkapnya tentang konfigurasi lainnya, lihat Manajemen basis pengetahuan.
Parameter | Deskripsi |
Konfigurasi Dasar | |
Data Source OSS Path | Jalur OSS korpus basis pengetahuan RAG dari bagian Prasyarat. |
Output OSS Path | Jalur untuk menyimpan hasil antara dan informasi indeks yang dihasilkan dari penguraian dokumen. Penting Saat Anda menggunakan FAISS sebagai database vektor, alur aplikasi menyimpan manifes yang dihasilkan ke OSS. Jika Anda menggunakan peran PAI default (peran instance RAM role yang ditetapkan saat Anda memulai runtime untuk pengembangan alur aplikasi), alur aplikasi secara default dapat mengakses bucket penyimpanan default ruang kerja Anda. Oleh karena itu, atur parameter ini ke direktori apa pun di bucket OSS tempat jalur penyimpanan default ruang kerja berada. Jika Anda menggunakan peran kustom, Anda harus memberikan izin akses OSS kepada peran tersebut. Kami menyarankan agar Anda memberikan izin AliyunOSSFullAccess. Untuk informasi selengkapnya, lihat Kelola izin peran RAM. |
Model Embedding dan Database | |
Embedding Type | Pilih General Embedding Model. |
Embedding Connection | Pilih koneksi layanan model embedding yang telah Anda buat di Langkah 2.2. |
Vector Database Type | Pilih Vector Database Milvus. |
Vector Database Connection | Pilih koneksi database Milvus yang telah Anda buat di Langkah 2.3. |
Table Name | Koleksi database Milvus yang telah Anda buat di bagian Prasyarat. |
Konfigurasi VPC | |
VPC Configuration | Pastikan VPC yang dikonfigurasi sama dengan VPC instans Milvus, atau VPC yang dipilih terhubung ke VPC tempat instans Milvus berada. |
4. Buat dan jalankan alur aplikasi RAG
Buka LangStudio, pilih ruang kerja, lalu pada tab Application Flow, klik New Application Flow untuk membuat alur aplikasi RAG.
Mulai runtime: Di pojok kanan atas, klik Create Runtime dan konfigurasikan parameter. Catatan: Anda harus memulai runtime sebelum dapat mengurai node Python atau melihat lebih banyak alat.
Parameter utama:
VPC Configuration: Pilih VPC yang digunakan saat Anda membuat instans Milvus di bagian Prasyarat, atau pastikan VPC yang dipilih terhubung ke VPC tempat instans Milvus berada.
Kembangkan alur aplikasi.
Pertahankan pengaturan default untuk konfigurasi lainnya dalam alur aplikasi atau konfigurasikan sesuai kebutuhan. Konfigurasi node utama adalah sebagai berikut:
Knowledge Base Retrieval: Mengambil teks yang relevan dengan pertanyaan pengguna dari basis pengetahuan.
Knowledge Base Index Name: Pilih indeks basis pengetahuan yang telah Anda buat di Langkah 3. Buat indeks basis pengetahuan.
Top K: Jumlah entri data pencocokan top-K yang akan dikembalikan.
LLM Node: Menggunakan dokumen yang diambil sebagai konteks dan mengirimkannya bersama pertanyaan pengguna ke LLM untuk menghasilkan respons.
Model Settings: Pilih koneksi yang telah Anda buat di Langkah 2.1 Buat koneksi layanan LLM.
Chat History: Menentukan apakah riwayat percakapan diaktifkan dan informasi percakapan historis digunakan sebagai variabel input.
Untuk informasi selengkapnya tentang setiap komponen node, lihat Deskripsi komponen bawaan.
Debug/Jalankan: Di pojok kanan atas, klik Run untuk menjalankan alur aplikasi. Untuk informasi tentang masalah umum yang mungkin terjadi saat menjalankan alur aplikasi, lihat FAQ.
Lihat tautan: Di bawah jawaban yang dihasilkan, klik View Link untuk melihat detail jejak atau topologi.
5. Terapkan alur aplikasi
Pada halaman pengembangan alur aplikasi, klik Deploy di pojok kanan atas untuk menerapkan alur aplikasi sebagai layanan EAS. Pertahankan pengaturan default untuk parameter penerapan lainnya atau konfigurasikan sesuai kebutuhan. Konfigurasi parameter utama adalah sebagai berikut:
Resource Deployment > Number of Instances: Konfigurasikan jumlah instans layanan. Penerapan ini hanya untuk pengujian, jadi atur jumlah instans menjadi 1. Di lingkungan produksi, konfigurasikan beberapa instans layanan untuk mengurangi risiko single point of failure.
VPC > VPC: Pilih VPC tempat instans Milvus berada, atau pastikan VPC yang dipilih terhubung ke VPC tempat instans Milvus berada.
Untuk informasi selengkapnya tentang penerapan, lihat Terapkan alur aplikasi.
6. Panggil layanan
Setelah penerapan berhasil, Anda akan diarahkan ke halaman PAI-EAS. Pada tab Online Debugging, Anda dapat mengonfigurasi dan mengirim permintaan. Kunci dalam badan permintaan harus sama dengan bidang "Chat Input" di node "Start" alur aplikasi. Contoh berikut menggunakan bidang default question.
Untuk informasi selengkapnya tentang cara lain memanggil layanan, seperti menggunakan API, lihat Panggil layanan.