Konfigurasi UI web PAI-RAG - Platform For AI - Alibaba Cloud Documentation Center

UI Web PAI-RAG memungkinkan Anda mengonfigurasi model, pemotongan basis pengetahuan, sandbox Kode, layanan pencarian, dan tool MCP. Pengaturan ini memungkinkan Anda menyesuaikan perilaku pengambilan (retrieval) dan tanya-jawab sistem RAG Anda.

Konfigurasi model

Klik Settings > Model di pojok kiri bawah. Pada tab LLM, tambahkan model.

Catatan

Penerapan all-in-one secara otomatis menghasilkan catatan konfigurasi model. Anda dapat menambahkan model dari sumber lain.

Model ID: Mengidentifikasi konfigurasi model.
Endpoint URL: Titik akhir layanan model.
Catatan
- Model Alibaba Cloud Model Studio ditagih secara terpisah. Tagihan Alibaba Cloud Model Studio.
- Untuk layanan model EAS, buka halaman detail layanan, klik Basic Information, lalu klik View Endpoint Information. Tambahkan /v1 ke URL endpoint.
  - Titik akhir Internet memerlukan layanan RAG agar memiliki akses jaringan publik yang dikonfigurasi di VPC.
  - Titik akhir VPC memerlukan layanan RAG dan layanan LLM berada dalam VPC yang sama.
API Key: Untuk Alibaba Cloud Model Studio, peroleh kunci API. Untuk layanan EAS, masukkan token dari informasi endpoint.
Model Name: Nilainya bergantung pada penerapan Anda. Jika layanan LLM Anda diterapkan di EAS dengan mesin inferensi vLLM, masukkan nama model spesifik, yang dapat Anda peroleh dengan menggunakan API /v1/models. Untuk semua mode penerapan lainnya, atur nilai ini menjadi default.
Multimodal model: Pilih opsi ini jika Anda menggunakan model multimodal. Opsi ini tidak dipilih secara default.
Thinking model: Untuk model yang mendukung mode thinking dan non-thinking, gunakan opsi ini untuk mengaktifkan atau menonaktifkan thinking. Opsi ini tidak dipilih secara default.

Setelah mengonfigurasi model, uji model tersebut. Klik New Chat di panel navigasi kiri, pilih model di bagian atas halaman chat, lalu mulai percakapan.

Konfigurasi MCP

Klik Settings > MCP di pojok kiri bawah untuk menambahkan MCP.

MCP Link: URL titik akhir layanan MCP.
MCP Type: SSE, STDIO, atau Streamable HTTP.
Bearer Token: (Opsional) Token akses untuk autentikasi Bearer token.

Masukkan MCP Name (wajib, contohnya amaps), pilih Enable by Default sesuai kebutuhan, lalu klik Add.

Konfigurasi pencarian

Jika basis pengetahuan tidak memiliki informasi yang cukup untuk menjawab pertanyaan pengguna, atau jika jawaban memerlukan informasi real-time, aktifkan layanan pencarian (Tavily ).

Klik Settings > Search di pojok kiri bawah.

Pencarian Tavily

Daftar di situs resmi Tavily dan peroleh kunci API.

Pilih Tavily Search dari daftar drop-down Select Search Engine.
Masukkan Kunci API di bidang Tavily API Key.
Gunakan slider untuk mengatur Number of Search Results.
Klik Save Search Configuration.

Konfigurasikan sandbox Kode

Sandbox Kode menyediakan lingkungan eksekusi kode Python yang aman. Saat diaktifkan, asisten AI secara otomatis menggunakan sandbox Kode untuk menjalankan kode.

Skenario

Analisis data: Statistik, agregasi, dan penyaringan. Contoh: "Analisis data penjualan dan hitung rata-rata penjualan per wilayah."
Visualisasi data: Pembuatan grafik dan plotting tren. Contoh: "Plot tren penjualan selama satu tahun terakhir."
Operasi matematika: Perhitungan kompleks dan penyelesaian persamaan. Contoh: "Hitung deviasi standar dari rangkaian ini."
Pemrosesan file: Mengurai file CSV, Excel, dan lainnya untuk mengekstraksi serta mentransformasi data.
Tugas lain yang memerlukan eksekusi kode

Prasyarat

Sebelum mengonfigurasi sandbox Kode, selesaikan langkah-langkah berikut:

Aktifkan Function Compute: Buka Konsol Function Compute dan ikuti petunjuk untuk mengaktifkannya.
Buat interpreter AgentRun: Buka Konsol AgentRun. Pilih Sandbox di panel navigasi kiri. Buat templat sandbox dengan tipe Code Interpreter.

Catatan
Tipe Jaringan default adalah Allow the default NIC to access the public network, yang memerlukan layanan RAG agar memiliki akses jaringan publik.

Alternatifnya, pilih Allow access to VPC dan konfigurasikan VPC yang sama untuk layanan RAG.
Peroleh ID akun Alibaba Cloud dan Sandbox ID. Jika Anda telah mengonfigurasi kredensial akses, peroleh juga kunci API.

Konfigurasi

Klik Settings > Code Sandbox di pojok kiri bawah dan konfigurasikan parameter berikut:

Enable Sandbox: Mengaktifkan atau menonaktifkan fitur sandbox.
Sandbox Type: Hanya sandbox Alibaba Cloud FC yang didukung.
Alibaba Cloud ID: ID akun Alibaba Cloud Anda.
Interpreter ID: ID sandbox.
Interpreter Name: Nama interpreter kode.
API Key: Pasangan AccessKey yang digunakan untuk verifikasi identitas.
Default Timeout (s): Durasi maksimum eksekusi kode dalam detik. Default: 50.

Setelah dikonfigurasi, unggah file (seperti titanic.csv) di antarmuka chat dan ajukan pertanyaan. Asisten AI memanggil interpreter kode untuk menjalankan kode Python guna analisis data dan mengembalikan hasilnya. Misalnya, dengan bertanya "Berapa rasio laki-laki terhadap perempuan?", asisten AI membaca data menggunakan pandas dan mengembalikan: 577 laki-laki, 314 perempuan, rasio sekitar 1,84:1.

Konfigurasi kebijakan pemotongan file

Pengaturan pemotongan menentukan metode pemotongan dokumen dalam basis pengetahuan. Ini menentukan cara dokumen dipisah menjadi chunk untuk penyematan (embedding) dan pengambilan (retrieval). Pengaturan pemotongan yang tepat dapat meningkatkan recall dan kualitas jawaban.

Pemotongan dapat dikonfigurasi pada dua tingkat:

Pengaturan pemotongan basis pengetahuan: File yang diunggah ke basis pengetahuan diurai menggunakan pengaturan default-nya.
Pengaturan pemotongan tingkat basis pengetahuan: Di area Chunking Settings pada tab Knowledge Base Settings, konfigurasikan parameter berikut:
- Chunk Type: misalnya, structured (structure)
- Chunk Size: nilai yang direkomendasikan 1000
- Chunk Overlap: nilai yang direkomendasikan 50
- Image Understanding Model
- Embedding Model: misalnya, BAAI/bge-m3
Tingkat file:
- Saat mengunggah file, Anda dapat menentukan parameter pemotongannya secara individual.
  Di area Chunking Configuration pada dialog unggah file, atur parameter berikut:
  - Chunk Type: Pilih metode pemotongan, misalnya structured (structure)
  - Chunk Size: Atur ukuran setiap chunk, misalnya 1000
  - Chunk Overlap: Atur tumpang tindih antar chunk, misalnya 60
  - Image Understanding Model: Pilih apakah akan menggunakan model pemahaman gambar
  Setelah dikonfigurasi, klik tombol Start Parsing untuk memulai penguraian.
- Saat melakukan operasi reparse pada file yang sudah ada, Anda juga dapat menentukan pengaturan pemotongan baru untuk memicu pemrosesan ulang.
  Parameter pemotongan meliputi:
  - Chunk Type: Pilih metode pemotongan, misalnya structured (structure)
  - Chunk Size: nilai yang direkomendasikan 1000
  - Chunk Overlap: nilai yang direkomendasikan 50
  - Image Understanding Model: Digunakan untuk memahami konten gambar; Anda dapat memilih untuk tidak menggunakannya

Prasyarat

Sebelum mengonfigurasi pengaturan pemotongan, penuhi prasyarat berikut:

Basis pengetahuan: Basis pengetahuan aktif tersedia di sistem.
Konfigurasi embedding: Setidaknya satu model embedding telah dikonfigurasi.
(Opsional) Model multimodal: Diperlukan untuk pemahaman gambar. Konfigurasikan model vision di sistem.

Deskripsi parameter

Parameter	Deskripsi
Chunk Type	Pilih tipe chunk berdasarkan karakteristik dokumen: Structured: Memisahkan berdasarkan struktur (judul, paragraf). Cocok untuk sebagian besar file Markdown, PDF, dan Word. By token: Memisahkan berdasarkan jumlah token. Cocok untuk kebutuhan panjang yang ketat. Table: Memisahkan berdasarkan struktur tabel. Cocok untuk file Excel dan CSV. Konfigurasikan Max table header row index, Merge rows, Row delimiter, dan Format as JSON. Paragraph: Memisahkan berdasarkan pemisah kustom, seperti `\n\n`. Anda juga dapat mengatur ukuran chunk dan tumpang tindih chunk.
Chunk Size	Panjang maksimum setiap chunk dalam karakter atau token, tergantung pada tipe chunk. Direkomendasikan: 1000.
Chunk Overlap	Panjang tumpang tindih antara chunk yang berdekatan. Hal ini menjaga konteks dan mencegah pemutusan semantik. Direkomendasikan: 50. Penting Ukuran chunk harus lebih besar daripada tumpang tindih chunk.
Image Understanding Model	Menafsirkan konten gambar dalam dokumen, seperti gambar yang disematkan dalam file PDF atau Markdown. Pilih model vision yang telah dikonfigurasi dari daftar drop-down, atau pilih untuk tidak menggunakannya. Jika dipilih, gambar akan ditafsirkan selama penguraian dan dimasukkan dalam pemotongan dan pengambilan.
Vector Model	Mengonversi teks yang telah dipotong dan hasil pemahaman gambar menjadi vektor untuk pengambilan. Pilih model embedding yang telah dikonfigurasi di sistem, seperti BAAI/bge-m3.

Catatan

Saran penyetelan: Unggah beberapa dokumen dengan pengaturan default terlebih dahulu. Analisis recall dan akurasi di modul evaluasi, lalu sesuaikan parameter berdasarkan hasilnya.

Saran penggunaan

RAG untuk dokumen panjang: Atur Chunk Type menjadi Structured, Chunk Size menjadi 1000, dan Chunk Overlap menjadi 50. Hal ini mengontrol panjang chunk sekaligus menjaga konteks.
Pemotongan ketat berdasarkan pemisah: Gunakan pemotongan Paragraph dengan pemisah kustom.
Data tabel: Pilih tipe chunk Table (table), lalu konfigurasikan baris header dan pemisah baris. Jika Anda tidak memilih Merge rows, sistem memotong data per baris. Jika Anda memilih Merge rows, sistem menggabungkan baris menjadi blok berdasarkan batas ukuran chunk.
Dokumen multimodal: Aktifkan Image Understanding Model untuk menyertakan konten gambar dari PDF dan dokumen lainnya dalam pengambilan dan pembuatan jawaban.

Konfigurasi FAQ aplikasi

Fitur FAQ menyimpan basis pengetahuan pertanyaan dan jawaban per aplikasi. Gunakan fitur ini untuk manual produk, skrip layanan pelanggan, dan pertanyaan yang sering diajukan.

Dengan FAQ diaktifkan dan entri dikonfigurasi, percakapan mengikuti alur berikut:

Asisten AI mengambil entri FAQ yang paling mirip dengan pertanyaan pengguna.
Jika kecocokan memenuhi ambang batas kemiripan, sistem akan mengembalikan jawaban FAQ secara langsung atau menghasilkan jawaban dengan model berdasarkan hasil FAQ, tergantung pada konfigurasi.
Jika tidak ditemukan kecocokan atau opsi pengembalian langsung tidak diaktifkan, sistem kembali menggunakan kemampuan lain seperti basis pengetahuan dan pencarian.

Konfigurasi:

Login ke sistem dan buka halaman konfigurasi aplikasi target.
Enable FAQ: Di konfigurasi aplikasi, aktifkan tombol Enable FAQ, lalu simpan perubahan Anda.
Buka halaman manajemen FAQ untuk melakukan hal berikut:
- Pengaturan Balasan FAQ: Klik Settings. Konfigurasikan ambang batas skor kemiripan (direkomendasikan 0,8 hingga 1,0), model embedding, apakah akan menyertakan pertanyaan atau jawaban dalam pengambilan dan tampilan, serta apakah akan mengembalikan hasil tool secara langsung.
- Manajemen FAQ:
  - Tambah, edit, atau hapus entri FAQ tunggal.
    - Klik + Add FAQ, masukkan Question dan Answer di dialog, lalu klik Create untuk menambahkan entri.
    - Di daftar FAQ, klik ikon edit untuk mengubah entri, atau klik ikon hapus untuk menghapusnya.
  - Hapus entri secara batch.
    Penghapusan batch: Pilih kotak centang entri FAQ target, lalu klik Delete selected di pojok kanan atas untuk menghapus semua entri yang dipilih.
  - Impor batch: Unggah file Excel, petakan kolom pertanyaan dan jawaban, lalu impor entri dengan sekali klik.
    Di dialog Upload File, pilih file xlsx atau xls dan konfigurasikan parameter penguraian berikut:
    - Header Row Index: Tentukan posisi baris header. Biarkan kosong untuk menggunakan indeks kolom numerik (0, 1, 2...)
    - Question Column: Tentukan indeks kolom untuk pertanyaan
    - Answer Column: Tentukan indeks kolom untuk jawaban
    Setelah dikonfigurasi, klik Upload.
Setelah disimpan, percakapan dalam aplikasi ini secara otomatis memprioritaskan pengambilan FAQ.