Alur aplikasi RAG - Platform For AI - Alibaba Cloud Documentation Center

Retrieval-Augmented Generation (RAG) menghubungkan large language models (LLMs) ke basis pengetahuan privat, meningkatkan akurasi respons dengan data spesifik domain. Panduan ini memandu Anda melalui pengembangan dan penerapan aplikasi RAG di LangStudio.

Latar Belakang

Model RAG menggabungkan information retrieval dengan AI generatif untuk memberikan jawaban yang lebih tepat dan relevan secara kontekstual. Di bidang seperti keuangan dan kesehatan—di mana informasi akurat mendorong keputusan kritis—model generatif tradisional mungkin tidak memiliki pengetahuan spesifik domain yang diperlukan. RAG menjembatani kesenjangan ini dengan menghubungkan model ke basis pengetahuan eksternal. Panduan ini menjelaskan solusi RAG untuk bidang keuangan dan kesehatan yang dibangun di atas Platform for AI (PAI).

Prasyarat

LangStudio mendukung Faiss dan Milvus sebagai vector databases. Jika Anda ingin menggunakan Milvus, Anda harus terlebih dahulu membuat instans Milvus.

Catatan
Faiss cocok untuk lingkungan pengujian dan tidak memerlukan pengaturan database tambahan. Untuk produksi, gunakan Milvus, yang mendukung data berskala lebih besar.
Korpus untuk basis pengetahuan RAG Anda harus diunggah ke OSS. Korpus sampel berikut disediakan untuk kasus penggunaan keuangan dan kesehatan:
- Berita Keuangan: Data dalam format PDF, berisi laporan berita dari situs berita publik.
- Pengantar Penyakit: Data dalam format CSV, berisi informasi penyakit dari Wikipedia.

1. (Opsional) Deploy model LLM dan embedding

Alur aplikasi RAG memerlukan layanan LLM dan layanan model embedding. Anda dapat menerapkan layanan yang diperlukan dari Model Gallery seperti dijelaskan di bawah, atau lewati langkah ini jika Anda sudah memiliki layanan model yang kompatibel dengan OpenAI API.

Buka QuickStart > Model Gallery dan deploy model untuk dua skenario berikut. Untuk detailnya, lihat Penerapan dan pelatihan model.

Penting

Pilih large language model yang telah dituning untuk instruksi. Model dasar tidak dapat mengikuti instruksi pengguna secara andal.

Untuk Scenario, pilih Large Language Models dan deploy DeepSeek-R1-Distill-Qwen-7B.
Untuk Scenario, pilih embedding dan deploy bge-m3 general vector model.

2. Buat koneksi

Koneksi layanan LLM dan model embedding pada bagian ini menggunakan layanan EAS yang diterapkan dari QuickStart > Model Gallery. Untuk jenis koneksi lainnya, lihat Konfigurasikan koneksi.

2.1 Buat koneksi layanan LLM

Di LangStudio, pilih ruang kerja, navigasikan ke tab Configure Service Connection > Model Service, lalu klik New Connection untuk membuat koneksi layanan model LLM generik.

Parameter utama:

Parameter	Deskripsi
Model name	Jika Anda menerapkan model dari Model Gallery, temukan nama model di halaman detailnya dengan mengklik kartu model di halaman Model Gallery. Untuk detailnya, lihat Buat koneksi - Model Service.
Service provider	Layanan model PAI-EAS: Topik ini menggunakan layanan model PAI-EAS. Untuk parameter EAS Service, pilih layanan LLM yang Anda terapkan di 1. (Opsional) Deploy model LLM dan embedding. Saat Anda memilih layanan tersebut, kolom base_url dan api_key akan diisi secara otomatis dengan titik akhir VPC dan token dari layanan LLM yang diterapkan. Layanan model pihak ketiga: Untuk layanan pihak ketiga seperti layanan resmi DeepSeek, `base_url`-nya adalah `https://api.deepseek.com`. Anda dapat memperoleh `api_key` dari situs web resmi DeepSeek.

2.2 Buat koneksi layanan model embedding

Buat koneksi layanan model embedding generik, mengikuti prosedur yang sama seperti pada Langkah 2.1.

2.3 Buat koneksi database vektor

Di tab Configure Service Connection > Database, klik New Connection untuk membuat koneksi database Milvus.

Parameter utama:

Parameter	Deskripsi
uri	Titik akhir instans Milvus dalam format `http://<Milvus internal endpoint>`. Contohnya, `http://c-b1c5222fba****-internal.milvus.aliyuncs.com`.
token	Username dan password untuk instans Milvus: `<yourUsername>:<yourPassword>`.
database	Nama database. Topik ini menggunakan database default `default`.

3. Buat indeks basis pengetahuan

Buat indeks basis pengetahuan. LangStudio mengurai korpus, membaginya menjadi chunk, melakukan vektorisasi, lalu menyimpan hasilnya di database vektor. Tabel berikut menjelaskan parameter utama. Untuk konfigurasi lainnya, lihat Kelola basis pengetahuan.

Parameter	Deskripsi
Konfigurasi dasar
Data source OSS path	Atur parameter ini ke path OSS dari korpus basis pengetahuan RAG yang dijelaskan di Prasyarat.
Output OSS path	Tentukan path untuk menyimpan hasil antara dan metadata indeks dari penguraian dokumen. Penting Jika Anda menggunakan Faiss sebagai database vektor, alur aplikasi menyimpan file indeks yang dihasilkan ke OSS. Secara default, jika Anda menggunakan peran PAI default (yaitu Instance RAM Role yang ditetapkan saat Anda memulai runtime), alur aplikasi memiliki akses ke bucket penyimpanan default ruang kerja Anda. Oleh karena itu, kami menyarankan mengatur parameter ini ke direktori dalam bucket OSS yang berisi path penyimpanan default ruang kerja saat ini. Jika Anda menggunakan peran kustom, berikan izin akses OSS padanya. Kami merekomendasikan izin AliyunOSSFullAccess. Untuk informasi selengkapnya, lihat Kelola izin untuk peran RAM.
Model embedding dan database
Embedding type	Pilih General Embedding Model.
Embedding connection	Pilih koneksi layanan model embedding yang Anda buat di Langkah 2.2.
Vector database type	Pilih Vector database Milvus.
Vector database connection	Pilih koneksi database Milvus yang Anda buat di Langkah 2.3.
Table name	Atur parameter ini ke nama Collection yang Anda buat di database Milvus, seperti dijelaskan di Prasyarat.
Konfigurasi VPC
VPC configuration	Pilih VPC yang sama dengan, atau dapat berkomunikasi dengan, VPC instans Milvus.

4. Buat dan jalankan alur aplikasi RAG

Buka LangStudio, pilih ruang kerja, lalu di tab Application Flow, klik New Application Flow untuk membuat alur aplikasi RAG.
Mulai runtime. Di pojok kanan atas, klik Create Runtime dan konfigurasikan parameternya. Catatan: Runtime harus berjalan sebelum Anda dapat mengurai node Python atau mengakses lebih banyak alat.

Parameter utama:

VPC Configuration: Pilih VPC yang digunakan untuk membuat instans Milvus di Prasyarat, atau pastikan VPC yang dipilih dapat berkomunikasi dengan VPC instans Milvus.
Kembangkan alur aplikasi.

Pertahankan pengaturan default untuk node lainnya atau sesuaikan sesuai kebutuhan. Konfigurasikan node utama sebagai berikut:
- Knowledge Retrieval: Mengambil teks dari basis pengetahuan yang relevan dengan pertanyaan pengguna.
  - Knowledge base index name: Pilih indeks basis pengetahuan yang Anda buat di Langkah 3.
  - Top K: Mengembalikan K hasil pencocokan teratas.
- Node LLM: Menggunakan dokumen yang diambil sebagai konteks, mengirimkannya ke large language model bersama pertanyaan pengguna, lalu menghasilkan respons.
  - Model configuration: Pilih koneksi yang Anda buat di Langkah 2.1.
  - Chat history: Menentukan apakah riwayat percakapan diaktifkan dan digunakan sebagai variabel input.
Untuk detail setiap komponen, lihat Pustaka Komponen Bawaan.
Debug atau jalankan alur. Di pojok kanan atas, klik Run untuk mengeksekusi alur. Untuk informasi tentang masalah runtime umum, lihat FAQ.
Lihat jejak. Di bawah jawaban yang dihasilkan, klik View Traces untuk melihat detail jejak atau topologinya.

5. Terapkan alur aplikasi

Di halaman pengembangan alur aplikasi, klik Deploy di pojok kanan atas untuk menerapkan alur aplikasi sebagai layanan EAS. Pertahankan pengaturan penerapan lainnya sebagai default atau sesuaikan sesuai kebutuhan. Konfigurasikan parameter utama berikut:

Resource deployment > Instances: Konfigurasikan jumlah instans layanan. Penerapan ini hanya untuk pengujian, jadi atur jumlah instans menjadi 1. Untuk produksi, kami merekomendasikan menggunakan beberapa instans layanan untuk mengurangi risiko single point of failure (SPOF).
VPC > VPC: Pilih VPC tempat instans Milvus berada, atau pastikan VPC yang dipilih dapat berkomunikasi dengan VPC tempat instans Milvus berada.

Untuk detail penerapan lebih lanjut, lihat Terapkan alur aplikasi.

6. Panggil layanan

Setelah penerapan, Anda akan diarahkan ke konsol PAI-EAS. Di tab Debug, konfigurasikan dan kirim permintaan. Kunci dalam badan permintaan harus sesuai dengan parameter "Dialogue input" di node "Start" alur aplikasi. Panduan ini menggunakan bidang default question.

Untuk metode pemanggilan layanan lainnya, seperti menggunakan API, lihat Panggil layanan.

Platform For AI:Buat aplikasi Tanya & Jawab RAG untuk bidang keuangan dan kesehatan