Platform For AI:Chatbot RAG dan pencarian web dengan LangStudio dan DeepSeek

Latar Belakang

Alur aplikasi ini menggabungkan RAG dan pencarian web langsung untuk memberikan jawaban yang presisi. Model mengambil pengetahuan khusus domain dan melengkapinya dengan data web real-time—sangat efektif di bidang berpresisi tinggi seperti keuangan dan kesehatan.

Prasyarat

• Daftar di website resmi SerpApi dan peroleh api_key Anda.

• Untuk menggunakan Milvus, buat instans Milvus.

  Catatan

  Faiss digunakan untuk pengujian dan tidak memerlukan database terpisah. Untuk produksi, gunakan Milvus untuk data berskala besar.

• Unggah korpus basis pengetahuan RAG ke OSS.

1. (Opsional) Terapkan model LLM dan embedding

Terapkan layanan model yang diperlukan dari Model Gallery. Lewati langkah ini jika Anda sudah memiliki layanan model yang kompatibel.

Buka Panduan Cepat Mulai > Model Gallery dan terapkan model untuk dua skenario berikut. Penerapan dan Pelatihan Model.

• Untuk Scenario, pilih Large Language Models. Contoh ini menggunakan DeepSeek-R1. Penerapan satu-klik model DeepSeek-V3 dan DeepSeek-R1.

• Untuk Scenario, pilih Embedding. Contoh ini menggunakan model vektor serbaguna bge-m3.

2. Buat koneksi

Koneksi layanan model LLM dan embedding dalam panduan ini didasarkan pada layanan EAS yang diterapkan dari QuickStart > Model Gallery. Jenis dan konfigurasi koneksi lainnya dijelaskan dalam Konfigurasi Koneksi.

2.1 Buat koneksi LLM

1. Buka LangStudio dan pilih wilayah serta ruang kerja.

2. Pada tab Connection > Model Service, klik New Connection dan atur parameter berikut:

   • Connection Type: Pilih General LLM Service.

   • Service Provider: Pilih PAI-EAS Model Service.

   • EAS Service: Pilih layanan LLM yang Anda terapkan di Langkah 1.

     Setelah Anda memilih layanan, LangStudio secara otomatis mengisi bidang base_url dan api_key dengan titik akhir VPC dan token dari LLM yang diterapkan.

   • Model Name: Nilai parameter model dalam permintaan API OpenAI. Temukan nilai ini di halaman detail model dengan mengklik kartu model di Model Gallery.

   • Tool Call, Structured output, Deep Reasoning, Vision: Aktifkan opsi ini sesuai kemampuan model Anda.

2.2 Buat koneksi model embedding

Buat koneksi model embedding menggunakan proses yang sama seperti pada Bagian 2.1.

2.3 Buat koneksi SerpApi

Pada tab Connection > Custom, klik New Connection untuk membuat koneksi SerpApi. Konfigurasikan api_key yang Anda peroleh di bagian Prasyarat.

3. Buat indeks basis pengetahuan

Buat indeks basis pengetahuan untuk mengurai, memecah (chunk), dan mengvektorkan korpus Anda ke dalam database vektor. Parameter utama tercantum di bawah ini. Manajemen Basis Pengetahuan.

4. Buat dan jalankan alur aplikasi

1. Buka LangStudio, pilih ruang kerja, buka tab Application Flows, lalu klik New Application Flow untuk membuat Chat Assistant dengan alur Web Search dan RAG.

   

2. Di pojok kanan atas, klik Select Runtime dan pilih waktu proses. Diperlukan waktu proses yang sedang berjalan untuk mengurai node Python atau melihat lebih banyak tool.

   Jika tidak tersedia waktu proses, buka tab Runtime di halaman LangStudio dan klik New Runtime untuk membuatnya. Parameter utama:

   Konfigurasi VPC: Jika Anda memilih Milvus di Langkah 3, gunakan VPC yang sama dengan instans Milvus atau VPC yang saling terhubung. FAISS tidak memerlukan konfigurasi VPC.

3. Kembangkan alur aplikasi.

   

   Biarkan pengaturan lainnya tetap pada nilai default atau sesuaikan sesuai kebutuhan. Konfigurasi node utama:

   • Knowledge Base Retrieval: Mengambil teks relevan dari basis pengetahuan.

     • Nama Indeks Basis Pengetahuan: Pilih indeks basis pengetahuan yang Anda buat di Langkah 3.

     • Top K: Mengembalikan K hasil pencocokan teratas.

   • Serp Search: Melakukan pencarian web melalui SerpApi dan mengembalikan hasil.

     • Koneksi SerpApi: Pilih koneksi SerpApi yang Anda buat di Bagian 2.3.

     • Mesin Pencari: Mendukung Bing, Google, Baidu, Yahoo, dan input kustom. Mesin dan parameter yang didukung didokumentasikan di website resmi SerpApi.

   • Large Model Node: Mengirimkan dokumen yang diambil dan hasil pencarian sebagai konteks bersama kueri pengguna ke LLM untuk menghasilkan respons.

     • Pengaturan Model: Pilih koneksi yang Anda buat di Bagian 2.1.

     • Riwayat Percakapan: Mengaktifkan riwayat percakapan sebagai variabel input.

   Referensi Komponen Preset.

4. Di pojok kanan atas, klik Run untuk menjalankan alur aplikasi. Atasi masalah umum di FAQ.

   

5. Di bawah jawaban yang dihasilkan, klik View Traces untuk melihat detail jejak atau tampilan topologi.

   

5. Sebarkan alur aplikasi

Di halaman pengembangan alur aplikasi, klik Deploy di pojok kanan atas untuk menyebarkan alur sebagai layanan EAS. Parameter utama:

• Resource Information > Instances: Konfigurasikan jumlah instans layanan. Untuk pengujian, atur ke 1. Untuk produksi, gunakan beberapa instans untuk mencegah single point of failure.

• VPC > VPC: SerpApi memerlukan akses internet publik, jadi konfigurasikan VPC dengan kemampuan tersebut—layanan EAS tidak memiliki kemampuan ini secara default. Aktifkan Layanan EAS untuk Mengakses Sumber Daya Publik atau Internal. Jika Anda memilih Milvus di Langkah 3, gunakan VPC yang sama dengan instans Milvus atau pastikan VPC saling terhubung.

Menyebarkan Alur Aplikasi.

6. Panggil layanan

Setelah penerapan, Anda akan diarahkan ke konsol PAI-EAS. Di tab Debug, kirim permintaan. Kunci badan permintaan harus sesuai dengan bidang Conversation Input di node Start alur aplikasi. Nama bidang default adalah question.

Metode pemanggilan lainnya, termasuk panggilan API, dijelaskan dalam Menyebarkan Alur Aplikasi - Memanggil Layanan.

Dokumen terkait

• FAQ

• Manajemen waktu proses

• Konfigurasi koneksi

• Manajemen indeks basis pengetahuan

• Pengembangan alur aplikasi

• Menyebarkan alur aplikasi