Bangun sistem RAG menggunakan Vector Retrieval Service untuk Milvus dan platform Dify - Vector Retrieval Service for Milvus

Topik ini menjelaskan cara membangun sistem generasi yang diperkaya dengan pengambilan data (RAG) menggunakan Vector Retrieval Service for Milvus (Milvus) dan platform Dify.

Informasi latar belakang

Prinsip RAG

Model bahasa besar (LLM) sering kali mengalami halusinasi karena pengetahuannya terbatas. Teknologi generasi yang diperkaya dengan pengambilan data (RAG) menyelesaikan masalah ini dengan menghubungkan ke basis pengetahuan eksternal. Sistem RAG yang efisien memerlukan database vektor yang kuat.

Topik ini berfokus pada Milvus dan platform artificial intelligence (AI) berkode rendah Dify. Ini menunjukkan cara menggabungkannya untuk membangun aplikasi RAG tingkat perusahaan dengan cepat. Hal ini menunjukkan nilai inti dari database vektor dalam menyelesaikan masalah "mil terakhir" dalam AI.

Tentang platform Dify

Dify adalah platform sumber terbuka untuk mengembangkan aplikasi AI. Fiturnya meliputi alur kerja berkode rendah dan antarmuka yang ramah pengguna. Misi intinya adalah menyederhanakan dan mempercepat proses pembuatan aplikasi AI dengan mengintegrasikan konsep backend-sebagai-layanan (BaaS) dan LLM Operations (LLMOps).

Dify adalah solusi full-stack. Di backend, ia menyediakan infrastruktur yang andal, termasuk layanan API dan manajemen data. Ini memungkinkan pengembang menghindari pembuatan dari awal. Untuk LLMOps, Dify menawarkan antarmuka visual intuitif untuk rekayasa prompt, yang menyederhanakan alur kerja prompt yang kompleks. Mesin RAG bawaan berkualitas tinggi terhubung ke basis pengetahuan pribadi, seperti dokumen perusahaan dan database. Koneksi ini memungkinkan model bahasa besar menjawab pertanyaan menggunakan pengetahuan spesifik domain, yang mengurangi halusinasi dan memastikan bahwa jawaban akurat dan dapat dilacak.

Prasyarat

Anda telah membuat instans Milvus. Untuk informasi lebih lanjut, lihat Buat instans Milvus.
Anda telah mengaktifkan Alibaba Cloud Model Studio dan memperoleh kunci API. Untuk informasi lebih lanjut, lihat Dapatkan App ID dan Workspace ID.
Anda telah menginstal Docker dan Docker Compose. Untuk informasi lebih lanjut, lihat Instal dan gunakan Docker dan Docker Compose.

Prosedur

Langkah 1: Instal Dify

Klon proyek Dify sumber terbuka dari GitHub ke mesin lokal Anda.
```
git clone https://github.com/langgenius/dify.git
```
Pergi ke direktori penerapan dan cadangkan file konfigurasi .env.
```
cd dify/docker/
cp .env.example .env
```

Ubah informasi konfigurasi berikut di file .env.

# Konfigurasi mesin penyimpanan vektor
VECTOR_STORE=milvus  # Menentukan Milvus sebagai mesin penyimpanan vektor

# Informasi koneksi Milvus
MILVUS_URI=http://YOUR_ALIYUN_MILVUS_ENDPOINT:19530
MILVUS_USER=YOUR_ALIYUN_MILVUS_USER
MILVUS_PASSWORD=YOUR_ALIYUN_MILVUS_PASSWORD

Contoh ini menggunakan parameter berikut. Ganti dengan nilai sebenarnya Anda.

Parameter	Deskripsi
`MILVUS_URI`	Titik akhir dari instans Milvus. Formatnya adalah `http://<Alamat IP publik>:<Port>`. `<Alamat IP publik>`: Anda dapat melihat ini di halaman Instance Details instans Milvus Anda. `<Port>`: Anda dapat melihat ini di halaman Instance Details instans Milvus Anda. Port default adalah 19530.
`MILVUS_USER`	Nama pengguna yang Anda tentukan saat membuat instans Milvus.
`MILVUS_PASSWORD`	Kata sandi untuk pengguna yang Anda tentukan saat membuat instans Milvus.

Mulai Dify.
```
docker compose up -d --build
```
Di browser, navigasikan ke http://127.0.0.1/ untuk mengakses layanan Dify. Atur akun administrator dan kata sandi, lalu masuk ke konsol.
Catatan
Jika Dify berjalan di server jarak jauh, seperti instans Elastic Compute Service (ECS) atau mesin virtual (VM), ganti 127.0.0.1 dengan alamat IP publik atau nama domain server. Pastikan server dapat diakses melalui jaringan.

Langkah 2: Siapkan model

Setelah masuk, klik foto profil Anda di sudut kanan atas dan pilih Settings dari menu drop-down.
Di panel navigasi di sebelah kiri, pilih Model Providers. Di sebelah kanan, temukan Qwen dan instal.
Setelah model diinstal, klik Set API-KEY. Masukkan kunci API yang Anda peroleh dari platform Alibaba Cloud Model Studio.
Konfigurasikan System Model Settings sesuai kebutuhan.

Langkah 3: Buat basis pengetahuan

Di bagian atas halaman, klik Knowledge, lalu klik Create Knowledge Base.
Pilih Import From Text File sebagai sumber data. Unduh data sampel dengan mengklik README.md. Kemudian, unggah file data sampel.
Ubah parameter dan klik Save & Process.
Contoh ini mengubah parameter berikut:
- Maximum Segment Length: Atur ke 1024.
- Embedding Model: Pilih text-embedding-v1.
Setelah proses selesai, basis pengetahuan dibuat.

Langkah 4: Verifikasi pengambilan vektor

Masuk ke Konsol Alibaba Cloud Milvus dan pilih instans Milvus Anda. Di sudut kanan atas, klik Attu Manager untuk membuka halaman Attu. Anda dapat melihat bahwa data koleksi yang sesuai telah diimpor. Untuk informasi lebih lanjut, lihat Manajemen Alat Attu.

Langkah 5: Verifikasi performa RAG

Di bagian atas halaman, klik Studio untuk kembali ke halaman utama. Pilih Create From Template.
Di kotak pencarian, cari dan gunakan templat Knowledge Retrieval + Chatbot.
Di kotak dialog yang muncul, klik Create.
Pilih node Knowledge Retrieval. Atur basis pengetahuan ke yang Anda buat di langkah sebelumnya.
Pilih node LLM dan atur model ke qwen-max.
Di sudut kanan atas, klik Publish, lalu klik Publish Update.
Klik Run untuk membuka halaman uji. Masukkan pertanyaan terkait konten di basis pengetahuan untuk menerima jawaban.