:Chatbot LLM berbasis RAG (v0.3.x)

Langkah 1: Menyebar layanan RAG

1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

2. Pada tab Inference Service, klik Deploy Service. Di bagian Scenario-based Model Deployment, klik RAG-based Smart Dialogue Deployment.

3. Pada halaman RAG-based LLM Chatbot Deployment, konfigurasikan parameter berikut:

   • Version: Layanan RAG mendukung dua mode penyebaran. Pilih mode yang sesuai dengan kasus penggunaan dan sumber daya Anda.

     • LLM-Integrated Deployment: Menyebarkan layanan RAG dan model bahasa besar (seperti Qwen) dalam satu instans layanan EAS. Mode ini mudah dikonfigurasi dan ideal untuk validasi cepat serta prototipe.

     • LLM-Separated Deployment: Hanya menyebarkan layanan RAG, sedangkan model bahasa besar dijalankan sebagai layanan terpisah. Mode ini memungkinkan layanan RAG terhubung ke berbagai layanan LLM, seperti LLM lain yang diterapkan di EAS atau layanan Alibaba Cloud Model Studio. Mode ini memfasilitasi penggunaan ulang sumber daya dan penskalaan independen, serta cocok untuk lingkungan produksi atau saat layanan LLM sudah tersedia.

   • Deployment: Alokasikan sumber daya komputasi yang sesuai untuk layanan.

     • LLM-Integrated Deployment: Sistem secara otomatis merekomendasikan spesifikasi sumber daya berdasarkan Model Category yang dipilih. Spesifikasi di bawah rekomendasi dapat mencegah layanan dimulai.

     • LLM-Separated Deployment: Layanan RAG itu sendiri mengonsumsi sumber daya minimal. Kami menyarankan spesifikasi dengan CPU minimal 8-core dan memori 16 GB, seperti ecs.g6.2xlarge atau ecs.g6.4xlarge.

   • Pengaturan database vektor:

     • Vector Database Type: Pilih FAISS untuk membangun database vektor lokal guna latihan cepat. Untuk lingkungan produksi, kami menyarankan menggunakan database vektor tingkat produksi. Untuk detailnya, lihat Gunakan database vektor Alibaba Cloud.

     • OSS Path: Pilih direktori Object Storage Service (OSS) yang sudah ada di wilayah saat ini untuk menyimpan file basis pengetahuan yang diunggah. Jika tidak tersedia jalur penyimpanan, lihat Console Quick Start untuk membuatnya.

       Catatan

       Jika Anda menyebarkan layanan dengan model fine-tuned yang di-host sendiri, pastikan jalur penyimpanan OSS yang dipilih tidak bertentangan dengan jalur penyimpanan model tersebut.

   • VPC: Konfigurasikan EAS untuk mengakses sumber daya publik atau pribadi agar layanan RAG dapat berkomunikasi dengan layanan LLM, database vektor, dan layanan cloud lainnya.

     • Akses layanan publik: Untuk mengakses database vektor, layanan LLM (seperti Alibaba Cloud Model Studio), atau pencarian web melalui internet, Anda harus mengonfigurasi akses jaringan publik untuk layanan EAS.

     • Akses layanan pribadi:

       • Untuk mengakses database vektor melalui titik akhir pribadi, layanan RAG dan database vektor harus berada dalam VPC yang sama.

       • Untuk mengakses layanan LLM melalui titik akhir pribadi, layanan RAG dan layanan LLM harus berada dalam VPC yang sama.

     Catatan

     • Hologres, Elasticsearch, dan RDS PostgreSQL mendukung akses melalui jaringan pribadi maupun publik. Kami menyarankan menggunakan akses jaringan pribadi.

     • Database vektor FAISS tidak memerlukan akses jaringan. OpenSearch hanya mendukung akses melalui jaringan publik.

5. Setelah mengonfigurasi parameter, klik Deploy. Layanan berhasil diterapkan ketika Service Status berubah menjadi Running. Penerapan biasanya memakan waktu sekitar 5 menit, tetapi durasi dapat bervariasi tergantung ukuran model dan faktor lainnya.

Langkah 2: Memanggil API

Layanan RAG menyediakan API untuk tugas seperti manajemen basis pengetahuan dan percakapan, memungkinkan integrasi mudah ke aplikasi Anda. Untuk detailnya, lihat Referensi API RAG.

Biaya dan risiko

Catatan penggunaan

Solusi ini dibatasi oleh ukuran sumber daya server dan batas token default layanan LLM, yang membatasi panjang percakapan. Tujuannya adalah membantu Anda mengalami fungsi pengambilan dasar chatbot LLM berbasis RAG.

FAQ