Panduan konfigurasi PAI-RAG Web UI - Platform For AI - Alibaba Cloud Documentation Center

Topik ini menjelaskan cara mengonfigurasi pengaturan pada PAI-RAG Web UI, mencakup basis pengetahuan, Code sandbox, model, layanan pencarian, dan tool MCP.

Konfigurasikan model

Di pojok kiri bawah, klik Settings > Model untuk membuka halaman konfigurasi model. Pada tab LLM, tambahkan model.

Catatan

Jika Anda menggunakan penerapan all-in-one, konfigurasi model akan dibuat secara otomatis. Anda juga dapat menambahkan model dari sumber lain.

Model ID: Membedakan berbagai konfigurasi model.
Endpoint URL: Titik akhir layanan model.
Catatan
- Pemanggilan ke model Alibaba Cloud Model Studio ditagih secara terpisah. Untuk informasi selengkapnya, lihat Tagihan Alibaba Cloud Model Studio.
- Jika ini adalah layanan model EAS, pada halaman detail layanan, klik Basic Information, lalu klik View Endpoint Information. Catatan: Tambahkan /v1 ke URL endpoint.
  - Untuk menggunakan endpoint Internet, Anda harus mengonfigurasi VPC dengan akses jaringan publik untuk layanan RAG.
  - Untuk menggunakan endpoint VPC, layanan RAG dan layanan LLM harus berada dalam VPC yang sama.
API Key: Untuk Alibaba Cloud Model Studio, peroleh kunci API. Untuk informasi selengkapnya, lihat Peroleh kunci API. Untuk layanan EAS, masukkan token dari informasi endpoint.
Model Name: Masukkan nama model. Jika Anda menggunakan layanan LLM yang diterapkan di EAS dengan mesin inferensi vLLM, Anda harus memasukkan nama model spesifik. Nama model tersebut dapat diperoleh melalui API /v1/models. Untuk mode penerapan lainnya, cukup atur nama model menjadi default.
Multimodal Model: Pilih opsi ini jika model bersifat multimodal. Opsi ini tidak dipilih secara default.
Thinking Model: Untuk model yang mendukung mode thinking dan non-thinking, gunakan opsi ini untuk mengontrol apakah model melakukan operasi thinking. Opsi ini tidak dipilih secara default.

Setelah konfigurasi berhasil, uji konfigurasi model tersebut. Di panel navigasi sebelah kiri, klik New Chat. Pada halaman chat, pilih model di bagian atas untuk memulai percakapan uji coba.

Konfigurasikan MCP

Di pojok kiri bawah, klik Settings > MCP untuk menambahkan MCP.

MCP Link: URL endpoint lengkap dari layanan MCP.
MCP Type: Jenis yang didukung adalah SSE, STDIO, dan Streamable HTTP.
Bearer Token: (Opsional) Untuk autentikasi Bearer token, masukkan token akses yang valid.

Konfigurasikan pencarian

Jika konten basis pengetahuan tidak mencakup pertanyaan pengguna atau diperlukan informasi real-time, Anda dapat mengaktifkan layanan pencarian (Tavily ) sebagai pelengkap.

Di pojok kiri bawah, klik Settings > Search untuk membuka halaman konfigurasi pencarian.

Pencarian Tavily

Buka website resmi Tavily untuk mendaftar akun dan memperoleh kunci API.

Konfigurasikan Code sandbox

Code sandbox menyediakan lingkungan eksekusi kode Python yang aman. Setelah Anda mengaktifkan fitur Code sandbox, asisten AI secara otomatis memanggil tool Code sandbox ketika perlu mengeksekusi kode.

Skenario

Analisis data: Melakukan operasi seperti statistik data, agregasi, dan penyaringan. Contoh: "Analisis data penjualan dan hitung rata-rata penjualan untuk setiap wilayah."
Visualisasi data: Menghasilkan grafik dan membuat grafik tren. Contoh: "Buat grafik tren penjualan selama satu tahun terakhir."
Operasi matematika: Melakukan operasi matematika kompleks dan menyelesaikan persamaan. Contoh: "Hitung deviasi standar dari rangkaian angka ini."
Pemrosesan file: Mengurai file seperti CSV dan Excel untuk mengekstraksi serta mentransformasi data.
Tugas lain yang memerlukan eksekusi kode

Prasyarat

Sebelum mengonfigurasi Code sandbox, selesaikan persiapan berikut:

Aktifkan Function Compute: Buka Konsol Function Compute dan ikuti petunjuk untuk mengaktifkan layanan.
Buat interpreter AgentRun: Buka Konsol AgentRun. Di panel navigasi sebelah kiri, pilih Sandbox. Buat templat sandbox dan atur tipe menjadi Code Interpreter. Catatan:
Catatan
Untuk Network Type, opsi default adalah Allow the default NIC to access the public network. Ini memerlukan agar layanan RAG memiliki akses jaringan publik.
Anda dapat memilih Allow access to VPC dan pastikan VPC yang sama dikonfigurasi untuk layanan RAG.
Peroleh kredensial akses: Ambil ID akun Alibaba Cloud dan Sandbox ID untuk konfigurasi. Jika Anda telah menyiapkan kredensial akses, Anda juga memerlukan kunci API.

Konfigurasi

Di pojok kiri bawah, klik Settings > Code Sandbox dan konfigurasikan parameter berikut:

Enable Sandbox: Mengaktifkan atau menonaktifkan fitur sandbox.
Sandbox Type: Saat ini hanya sandbox Alibaba Cloud FC yang didukung.
Alibaba Cloud ID: ID akun Alibaba Cloud Anda.
Interpreter ID: ID sandbox.
Interpreter Name: Nama interpreter kode.
API Key: Pasangan Kunci Akses yang digunakan untuk verifikasi identitas.
Default Timeout (s): Durasi maksimum eksekusi kode, dalam detik. Nilai default adalah 50.

Konfigurasikan kebijakan chunking file

Pengaturan chunking digunakan untuk mengonfigurasi metode chunking dokumen dalam basis pengetahuan. Hal ini menentukan cara dokumen dipecah menjadi chunk untuk vektorisasi dan pengambilan selanjutnya. Pengaturan chunking yang tepat dapat meningkatkan tingkat hit pengambilan dan kualitas jawaban.

Konfigurasi didukung di tingkat basis pengetahuan dan tingkat file:

Pengaturan chunking basis pengetahuan: Saat Anda mengunggah file ke basis pengetahuan, pengaturan chunking basis pengetahuan digunakan secara default untuk mengurai file tersebut.
Tentukan pengaturan chunking untuk file tertentu:
- Saat mengunggah file, Anda dapat menentukan parameter chunking untuk file tersebut.
- Saat Anda re-parse file yang sudah ada, Anda juga dapat menentukan pengaturan chunking untuk memicu pemrosesan ulang.

Prasyarat

Sebelum menggunakan pengaturan chunking, Anda memerlukan hal berikut:

Basis pengetahuan: Anda memiliki basis pengetahuan aktif di sistem.
Konfigurasi penyematan: Setidaknya satu model penyematan telah ditambahkan ke sistem.
(Opsional) Model multimodal: Untuk menggunakan model pemahaman gambar, Anda harus mengonfigurasi model vision di sistem.

Deskripsi parameter

Parameter	Deskripsi
Chunk Type	Pilih jenis chunk berdasarkan karakteristik dokumen: Structured: Memecah dokumen berdasarkan strukturnya, seperti judul dan paragraf. Cocok untuk sebagian besar file Markdown, PDF, dan Word. By token: Memecah dokumen berdasarkan jumlah token. Cocok untuk skenario dengan persyaratan panjang yang ketat. Table: Memecah dokumen berdasarkan struktur tabelnya. Cocok untuk file Excel dan CSV. Anda dapat mengonfigurasi parameter seperti Max table header row index, Merge rows, Row delimiter, dan Format as JSON. Paragraph: Memecah dokumen menjadi paragraf berdasarkan pemisah kustom, seperti `\n\n`. Anda juga dapat mengatur ukuran chunk dan overlap chunk.
Chunk Size	Panjang maksimum setiap chunk, dalam karakter atau token, tergantung pada jenis chunk. Nilai yang direkomendasikan: 1000.
Chunk Overlap	Panjang overlap antara chunk yang berdekatan. Ini membantu mempertahankan konteks dan mencegah pemotongan semantik. Nilai yang direkomendasikan: 50. Penting Ukuran chunk harus lebih besar daripada overlap chunk.
Image Understanding Model	Digunakan untuk memahami konten gambar dalam dokumen, seperti gambar yang disematkan dalam PDF atau gambar dalam file Markdown. Anda dapat memilih tidak menggunakan model pemahaman gambar, atau memilih model vision yang telah dikonfigurasi dari daftar drop-down. Setelah Anda membuat pilihan, model tersebut dipanggil untuk memahami gambar selama penguraian dokumen, dan konten gambarnya dimasukkan dalam proses chunking dan pengambilan.
Vector Model	Model yang mengubah teks chunk dan hasil pemahaman gambar menjadi vektor. Pengambilan bergantung pada vektor-vektor ini. Anda harus memilih model penyematan yang telah dikonfigurasi di sistem, seperti BAAI/bge-m3.

Catatan

Saran penyetelan: Kami merekomendasikan agar Anda terlebih dahulu mengunggah beberapa dokumen menggunakan konfigurasi default untuk pengujian. Analisis laju recall dan akurasi di modul evaluasi, lalu sesuaikan parameter berdasarkan hasil tersebut.

Saran penggunaan

RAG untuk dokumen panjang: Atur Chunk Type ke Structured, Chunk Size ke 1000, dan Chunk Overlap ke 50. Ini mengontrol panjang chunk sekaligus mempertahankan konteks.
Chunking dokumen ketat berdasarkan pemisah: Gunakan metode chunking Paragraph dan tentukan pemisah kustom.
Data tabel: Atur Chunk Type ke Table. Konfigurasikan baris header tabel dan pemisah baris untuk mengambil data dari file Excel atau CSV per baris atau per blok. Jika Anda tidak memilih opsi Merge rows, data di-chunk per baris. Jika Anda memilih opsi Merge rows, baris digabung menjadi blok berdasarkan batas ukuran chunk.
Dokumen multimodal: Aktifkan Image Understanding Model untuk memasukkan konten gambar dalam PDF dan dokumen bergambar ke dalam pengambilan dan pembuatan jawaban.

Konfigurasikan FAQ aplikasi

Fitur FAQ memungkinkan Anda memelihara basis pengetahuan berupa daftar pertanyaan dan jawaban untuk setiap aplikasi. Fitur ini berguna untuk manual produk, naskah layanan pelanggan, dan pertanyaan yang sering diajukan.

Setelah Anda mengaktifkan fitur FAQ untuk suatu aplikasi dan mengonfigurasi entri-entrinya, alur percakapan adalah sebagai berikut:

Asisten AI pertama kali mengambil entri dari FAQ yang paling mirip dengan pertanyaan pengguna.
Jika ditemukan kecocokan dan ambang batas skor kemiripan terpenuhi, sistem akan langsung mengembalikan jawaban FAQ atau menghasilkan jawaban dengan model berdasarkan hasil FAQ, tergantung pada konfigurasi.
Jika tidak ditemukan kecocokan atau opsi pengembalian langsung tidak diaktifkan, sistem menggunakan kemampuan lain, seperti basis pengetahuan dan pencarian, untuk menjawab pertanyaan.

Konfigurasi:

Login ke sistem dan buka halaman konfigurasi aplikasi target.
Aktifkan FAQ: Dalam konfigurasi aplikasi, aktifkan sakelar Enable FAQ dan simpan pengaturan.
Buka halaman manajemen FAQ. Di halaman ini, Anda dapat melakukan operasi berikut:
- FAQ Reply Settings: Klik tombol Settings. Konfigurasikan ambang batas skor kemiripan (nilai antara 0,8 hingga 1,0 direkomendasikan), model penyematan, apakah pertanyaan atau jawaban dimasukkan dalam pengambilan dan tampilan, serta apakah hasil tool dikembalikan langsung.
- Manage FAQs:
  - Tambah, edit, atau hapus entri FAQ tunggal.
  - Hapus entri secara batch.
  - Batch import: Unggah file Excel, petakan kolom pertanyaan dan jawaban, lalu impor entri-entri tersebut.
Setelah Anda menyimpan pengaturan, percakapan dalam aplikasi ini secara otomatis memprioritaskan hasil pengambilan FAQ.