OpenSearch:Kasus penggunaan

Seiring perkembangan teknologi Artificial Intelligence Generated Content (AIGC), Large Language Models (LLMs), kerangka kerja agen, dan orkestrasi alur kerja memungkinkan berbagai layanan aplikasi. Retrieval-Augmented Generation (RAG) kini menjadi komponen inti dalam basis pengetahuan perusahaan, layanan pelanggan cerdas, dan asisten e-commerce. Platform pengembangan seperti Alibaba Cloud Model Studio (Bailian) dan Dify membantu pengembang membangun aplikasi bisnis secara cepat dengan memanfaatkan RAG bawaan.

Namun, akurasi RAG sangat bergantung pada kinerja pencarian, dan platform pengembangan aplikasi sering menghadapi tantangan berikut:

1. Usabilitas yang buruk: Platform sering membatasi format, jumlah, dan ukuran dokumen basis pengetahuan, sehingga memaksa pengembang melakukan preprocessing data yang kompleks atau gagal memenuhi kebutuhan dunia nyata.

2. Kontrolabilitas terbatas: Sebagian besar platform bersifat kotak hitam, sehingga sulit untuk menyesuaikan, mengoptimalkan, atau memperluas pipeline inti—sering kali mengakibatkan kinerja end-to-end yang buruk.

3. Kemampuan tingkat enterprise yang lemah: Banyak platform tidak menyediakan isolasi izin tingkat enterprise serta impor atau pembaruan data yang cepat, sehingga sulit diadopsi di lingkungan produksi.

Untuk mengatasi tantangan tersebut, Anda dapat menggunakan Alibaba Cloud OpenSearch LLM-based Conversational Search sebagai sistem RAG dan mengintegrasikannya ke dalam alur kerja guna membangun aplikasi tingkat enterprise. OpenSearch mendukung integrasi dengan model dari Model Studio, memperluas pilihan LLM Anda untuk kinerja RAG yang disesuaikan. Untuk informasi lebih lanjut, lihat Manajemen LLM.

OpenSearch mendukung berbagai mekanisme pemanggilan dan otentikasi untuk integrasi fleksibel dengan platform seperti Model Studio dan Dify. Bagian berikut menggunakan Dify sebagai contoh untuk menunjukkan praktik terbaik dalam mengintegrasikan dengan platform aplikasi open-source.

Arsitektur

Pengembang mengimpor basis pengetahuan ke OpenSearch. Alur kerja memproses kueri pengguna dan mengirimkannya ke sistem RAG OpenSearch, yang mengembalikan jawaban percakapan lengkap beserta tautan referensi dan gambar. Pengembang kemudian dapat memproses hasil tersebut sesuai kebutuhan bisnis sebelum mengirimkan jawaban akhir kepada pengguna akhir.

Bangun sistem RAG di OpenSearch

Langkah 1: Bangun sistem RAG

Alibaba Cloud OpenSearch LLM-based Conversational Search adalah produk RAG all-in-one yang memungkinkan Anda membangun sistem RAG dalam hitungan menit. Anda dapat memilih model, menyesuaikan prompt, dan mengoptimalkan kinerja melalui Konsol. Di halaman detail instans, navigasikan ke Configuration Center->Data Configuration untuk mengonfigurasi basis pengetahuan enterprise Anda.

Di halaman Data Configuration, klik File Import atau Web Link Import untuk mengimpor data basis pengetahuan enterprise Anda. Fitur impor file mendukung data tidak terstruktur dalam format doc, docx, pdf, html, txt, ppt, dan pptx, serta data terstruktur dalam format JSON atau Excel (berkode UTF-8, dengan ukuran file maksimum 128 MB). Setelah memilih file, klik Upload File untuk menyelesaikan impor.

Untuk informasi lebih lanjut, lihat Bangun sistem tanya jawab basis pengetahuan enterprise menggunakan konsol.

Langkah 2: Buat dan dapatkan kunci API

Buat dan peroleh nama domain API publik serta kunci API, lalu simpan secara aman untuk digunakan dalam alur permintaan HTTP.

Bangun aplikasi bisnis di Dify

Langkah 1: Buat alur kerja

Di halaman Studio Dify, klik Create Blank App. Di kotak dialog Create Blank App, pilih Chat Assistant sebagai jenis aplikasi dan Workflow Orchestration sebagai metode orkestrasi. Beri nama dan deskripsi aplikasi Anda, lalu klik Create.

Start: Mendapatkan input pengguna.

Alibaba Cloud OpenSearch LLM-based Conversational Search (permintaan HTTP): Mengirim input pengguna ke OpenSearch dan mengembalikan output dari sistem RAG.

Parse Output (Eksekusi Kode): Mengurai output dari sistem RAG.

Return Answer: Mengembalikan hasil akhir kepada pengguna.

Langkah 2: Konfigurasi node

• Akses sistem RAG melalui HTTP

Atur Method ke POST. Contoh konten JSON untuk BODY adalah {"question":{"text":"@ Start {x} sys.query "}}, di mana pertanyaan pengguna diteruskan melalui variabel alur kerja sys.query. Untuk otentikasi kunci API:

• Jenis otentikasi: API key

• Jenis otentikasi API: Bearer

• Kunci API: Kunci API yang diperoleh dari Alibaba Cloud OpenSearch LLM-based Conversational Search.

URL: Nama domain API publik yang diperoleh dari Alibaba Cloud OpenSearch LLM-based Conversational Search + path API OpenSearch (contoh: v3/openapi/apps/[app_name]/actions/knowledge-search)

BODY: Pilih JSON. Untuk konten dan parameter permintaan lengkap, lihat Tanya Jawab Teks.

• Urai output

Respons API OpenSearch berformat JSON dan mencakup jawaban percakapan, tautan referensi, serta gambar referensi. Gunakan Eksekusi Kode untuk mengurai respons dan mengekstraksi informasi yang diperlukan.

Kode contoh untuk mengekstraksi hanya jawaban:

def main(body: str) -> str:
    import json
    dat = json.loads(body)
    return {
        'result': [ans['answer'] for ans in dat['result']['data']][0]
    }

Pratinjau

Anda dapat memperluas fondasi ini dengan alur kerja tambahan untuk membangun aplikasi bisnis yang lebih kaya. Sebagai contoh, asisten percakapan cerdas berikut dibangun di atas OpenSearch dan model Qwen.

Pertama, sistem mengklasifikasikan maksud pengguna menjadi isu purnajual, pertanyaan penggunaan produk, dan obrolan ringan. Untuk isu purnajual dan pertanyaan penggunaan produk, sistem melakukan kueri ke basis pengetahuan yang sesuai di OpenSearch dan menggunakan sistem RAG untuk menghasilkan jawaban. Untuk obrolan ringan, sistem memanggil model Qwen untuk mengobrol dengan pengguna dan menjawab pertanyaan umum.

Selain produk RAG all-in-one, Anda dapat menggunakan Alibaba Cloud AI Search Development Workbench, yang menyediakan kemampuan atomik seperti penguraian dokumen, vektorisasi, pencarian, dan penyusunan ulang. Gunakan kemampuan ini untuk membuat alat Dify khusus dan mengoptimalkan setiap langkah sistem RAG Anda.

Di bilah navigasi atas platform Dify, pilih Tools > Custom. Anda akan melihat dua alat kustom yang telah dibuat: OpenSearch Text Embedding (text embedding) dan OpenSearch Reranker Model (reranker model).

• Jika Anda memiliki pertanyaan tentang sistem RAG, bergabunglah dengan grup dukungan DingTalk Alibaba Cloud OpenSearch LLM-based Conversational Search untuk mempelajari lebih lanjut detail teknis dan panduan penggunaan.