Platform For AI:Buat aplikasi Tanya & Jawab RAG untuk bidang keuangan dan kesehatan

Latar Belakang

Model RAG menggabungkan pengambilan informasi dengan AI generatif untuk memberikan jawaban yang lebih tepat dan relevan secara kontekstual. Di bidang seperti keuangan dan kesehatan—di mana informasi akurat mendorong keputusan kritis—model generatif tradisional mungkin tidak memiliki pengetahuan spesifik domain yang diperlukan. RAG menjembatani kesenjangan ini dengan menghubungkan model ke basis pengetahuan eksternal. Panduan ini menjelaskan solusi RAG untuk bidang keuangan dan kesehatan yang dibangun di atas Platform for AI (PAI).

Prasyarat

• LangStudio mendukung Faiss dan Milvus sebagai database vektor. Jika Anda ingin menggunakan Milvus, Anda harus terlebih dahulu membuat instans Milvus.

  Catatan

  Faiss cocok untuk lingkungan pengujian dan tidak memerlukan pengaturan database tambahan. Untuk produksi, gunakan Milvus, yang mendukung data berskala lebih besar.

• Korpus untuk basis pengetahuan RAG Anda harus diunggah ke OSS. Korpus sampel berikut disediakan untuk kasus penggunaan keuangan dan kesehatan:

  • Berita Keuangan: Data dalam format PDF, berisi laporan berita dari situs web berita publik.

  • Pengantar Penyakit: Data dalam format CSV, berisi informasi penyakit dari Wikipedia.

1. (Opsional) Terapkan model LLM dan embedding

Alur aplikasi RAG memerlukan layanan LLM dan layanan model embedding. Anda dapat menerapkan layanan yang diperlukan dari Model Gallery sebagaimana dijelaskan di bawah ini, atau lewati langkah ini jika Anda sudah memiliki layanan model yang kompatibel dengan API OpenAI.

Buka QuickStart > Model Gallery dan terapkan model untuk dua skenario berikut. Untuk detailnya, lihat Penerapan dan pelatihan model.

• Untuk Skenario, pilih Large Language Models dan terapkan DeepSeek-R1-Distill-Qwen-7B.

• Untuk Skenario, pilih embedding dan terapkan bge-m3 general vector model.

2. Buat koneksi

Koneksi layanan LLM dan model embedding pada bagian ini menggunakan layanan EAS yang diterapkan dari QuickStart > Model Gallery. Untuk jenis koneksi lainnya, lihat Konfigurasikan koneksi.

2.1 Buat koneksi layanan LLM

Di LangStudio, pilih ruang kerja, navigasikan ke tab Configure Service Connection > Model Service, lalu klik New Connection untuk membuat koneksi layanan model LLM generik.

Parameter utama:

2.2 Buat koneksi layanan model embedding

Buat koneksi layanan model embedding generik, mengikuti prosedur yang sama seperti pada Langkah 2.1.

Di halaman New Connection, atur jenis koneksi menjadi General Embedding Model Service dan pilih tab PAI-EAS Model Service sebagai penyedia layanan. Kemudian konfigurasikan pengaturan parameter berikut:

• EAS Service: pilih instans layanan model embedding EAS yang telah diterapkan.

• Nama model: masukkan default.

• base_url: titik akhir layanan EAS.

• api_key: kunci API layanan EAS.

2.3 Buat koneksi database vektor

Di tab Configure Service Connection > Database, klik New Connection untuk membuat koneksi database Milvus.

Parameter utama:

3. Buat indeks basis pengetahuan

Buat indeks basis pengetahuan. LangStudio mengurai korpus, membaginya menjadi chunk, melakukan penyematan vektor, lalu menyimpan hasilnya di database vektor. Tabel berikut menjelaskan parameter utama. Untuk konfigurasi lainnya, lihat Kelola basis pengetahuan.

4. Buat dan jalankan alur aplikasi RAG

1. Buka LangStudio, pilih ruang kerja, lalu di tab Application Flow, klik New Application Flow untuk membuat alur aplikasi RAG.

2. Mulai runtime. Di pojok kanan atas, klik Create Runtime dan konfigurasikan parameter. Catatan: Runtime harus berjalan sebelum Anda dapat mengurai node Python atau mengakses alat lainnya.

   Parameter utama:

   Konfigurasi VPC: Pilih VPC yang digunakan untuk membuat instans Milvus di Prasyarat, atau pastikan VPC yang dipilih dapat berkomunikasi dengan VPC instans Milvus.

3. Kembangkan alur aplikasi.

   

   Pertahankan pengaturan default untuk node lainnya atau sesuaikan sesuai kebutuhan. Konfigurasikan node utama sebagai berikut:

   • Knowledge Retrieval: Mengambil teks dari basis pengetahuan yang relevan dengan pertanyaan pengguna.

     • Nama indeks basis pengetahuan: Pilih indeks basis pengetahuan yang Anda buat di Langkah 3.

     • Top K: Mengembalikan K hasil pencocokan teratas.

   • Node LLM: Menggunakan dokumen yang diambil sebagai konteks, mengirimkannya ke large language model bersama pertanyaan pengguna, lalu menghasilkan respons.

     • Konfigurasi model: Pilih koneksi yang Anda buat di Langkah 2.1.

     • Riwayat obrolan: Menentukan apakah riwayat obrolan diaktifkan dan percakapan sebelumnya digunakan sebagai variabel input.

   Untuk detail setiap komponen, lihat Pre-built Component Library.

4. Debug atau jalankan alur. Di pojok kanan atas, klik Run untuk mengeksekusi alur. Untuk informasi tentang masalah runtime umum, lihat FAQ.

5. Lihat jejak. Di bawah jawaban yang dihasilkan, klik View Traces untuk melihat detail jejak atau topologinya.

5. Terapkan alur aplikasi

Di halaman pengembangan alur aplikasi, klik Deploy di pojok kanan atas untuk menerapkan alur aplikasi sebagai layanan EAS. Pertahankan pengaturan penerapan lainnya sebagai default atau sesuaikan sesuai kebutuhan. Konfigurasikan parameter utama berikut:

• Resource deployment > Instances: Konfigurasikan jumlah instans layanan. Penerapan ini untuk tujuan pengujian, jadi atur jumlah instans menjadi 1. Untuk produksi, kami merekomendasikan menggunakan beberapa instans layanan untuk mengurangi risiko single point of failure (SPOF).

• VPC > VPC: Pilih VPC tempat instans Milvus berada, atau pastikan VPC yang dipilih dapat berkomunikasi dengan VPC tempat instans Milvus berada.

Untuk detail penerapan lebih lanjut, lihat Terapkan alur aplikasi.

6. Panggil layanan

Setelah penerapan, Anda akan dialihkan ke konsol PAI-EAS. Di tab Debug, konfigurasikan dan kirim permintaan. Kunci dalam badan permintaan harus sesuai dengan parameter "Dialogue input" di node "Start" alur aplikasi. Panduan ini menggunakan field default question.

Di area konfigurasi permintaan, pilih metode POST dan masukkan badan permintaan sebagai JSON mentah, contohnya:

{"question": "What is the share price of NVIDIA"}

Klik Send Request. Area Respons di sebelah kanan mengembalikan kode status 200 beserta respons JSON yang berisi informasi harga saham yang diambil melalui indeks basis pengetahuan.

Untuk metode pemanggilan layanan lainnya, seperti menggunakan API, lihat Panggil layanan.

Dokumen terkait

• FAQ

• Kelola runtime

• Konfigurasikan koneksi

• Kelola indeks basis pengetahuan

• Kembangkan alur aplikasi

• Terapkan alur aplikasi