Edisi AI Chat berbasis LLM dari OpenSearch mengintegrasikan pemrosesan data tidak terstruktur, model vektor, pencarian teks dan vektor, serta model bahasa besar (LLM) ke dalam solusi Generasi yang Diperkaya dengan Pengambilan Data (RAG) siap pakai dan terpadu. Impor data dalam berbagai format untuk membangun layanan pencarian percakapan multi-modal yang mendukung dialog, tautan, dan gambar.
Pengenalan produk
Edisi AI Chat berbasis LLM ditujukan untuk skenario pencarian spesifik industri dan menyediakan layanan Tanya & Jawab khusus bagi perusahaan. Dengan LLM bawaan, Anda dapat dengan cepat menerapkan sistem Tanya & Jawab yang menggunakan data bisnis Anda untuk secara otomatis menghasilkan jawaban, gambar referensi, dan tautan referensi.
Arsitektur layanan
Fitur produk
-
RAG multi-modal: Memahami konten gambar. Bangun basis pengetahuan multi-modal menggunakan alat seperti OCR dan LLM untuk menghasilkan keluaran yang beragam.
-
Evaluasi kinerja RAG: Evaluasi kinerja end-to-end. Bandingkan hasil RAG di berbagai model dan pengaturan parameter untuk menyederhanakan perbandingan kinerja dan pemilihan model.
-
Kemampuan model yang kaya dan pelatihan model kustom: Menyertakan berbagai model vektor, penyusunan ulang, dan model bahasa besar bawaan. Latih model besar kustom menggunakan data bisnis Anda.
-
Pembaruan data real-time: Bangun indeks vektor inkremental secara real-time. Data disinkronkan dan diperbarui secara instan.
-
Tanya & Jawab berbasis tabel: Mendukung Tanya & Jawab berbasis tabel menggunakan natural language to SQL (NL2SQL), memungkinkan pencarian percakapan dan Tanya & Jawab atas database terstruktur perusahaan Anda.
-
Tanpa penerapan, sepenuhnya dikelola, dan bebas O&M: Model-as-a-Service (MaaS) sepenuhnya terkelola di cloud yang tidak memerlukan penerapan atau operasi & pemeliharaan (O&M).
Manfaat
-
Integrasi cepat terpadu: Alur RAG end-to-end bawaan memungkinkan Anda membangun sistem RAG dalam hitungan menit hanya dengan mengunggah data bisnis di Konsol.
-
Kinerja RAG unggul: Menyertakan berbagai model vektor, penyusunan ulang, dan model bahasa besar bawaan. Kemampuan model kami telah berulang kali menempati posisi teratas dalam peringkat industri, menjamin akurasi RAG lebih dari 95%.
-
Metode penyetelan fleksibel: Mendukung berbagai metode penyetelan kinerja, seperti prompt kustom, modifikasi parameter, pengurutan hasil pencarian, dan pelatihan model kustom. Termasuk model bawaan untuk evaluasi kinerja RAG end-to-end.
-
Fitur terkait lengkap: Mendukung rangkaian lengkap fitur terkait RAG, seperti pemahaman konten multi-modal, penguraian data terstruktur dan tidak terstruktur, percakapan multi-putaran, keluaran streaming, pengenalan maksud, dan agen.
-
Metode koneksi yang mudah: Mendukung integrasi cepat tanpa kode dengan berbagai ekosistem, seperti robot DingTalk dan Lark. Juga mendukung metode koneksi fleksibel seperti API dan kit pengembangan perangkat lunak (SDK). Anda dapat menggunakan Kunci API untuk menyematkan layanan ke dalam berbagai framework pengembangan aplikasi model besar open source.
-
Kemampuan tingkat enterprise yang lengkap: Mendukung pemagaran izin dokumen tingkat enterprise dan pembaruan real-time untuk data inkremental.
Pemilihan versi
Edisi AI Chat berbasis LLM dari OpenSearch tersedia dalam dua versi: Edisi Standar dan Edisi Profesional. Tabel berikut membandingkan fitur-fiturnya.
|
Item Perbandingan |
Edisi Standar |
Edisi Profesional |
|
Pelatihan model kustom |
Tidak didukung. |
Mendukung supervised fine-tuning (SFT) berdasarkan data bisnis Anda sendiri. |
|
Pemilihan LLM |
Mendukung seri Qwen, model open source, dan model eksternal. |
Mendukung seri Qwen, model open source, model eksternal, dan model kustom. |
|
Batasan |
Dibatasi kecepatannya hingga maksimum 10 permintaan per detik (QPS). |
Tidak ada pembatasan kecepatan. Sumber daya GPU yang dibeli hanya perlu mendukung jumlah permintaan inferensi yang mencukupi. |
|
Penagihan sumber daya komputasi |
Pay-as-you-go berdasarkan sumber daya komputasi yang dikonsumsi per panggilan. |
Ditagih sesuai spesifikasi GPU yang dibeli. Tidak ada biaya tambahan untuk sumber daya komputasi. |
|
Skenario |
Cocok untuk skenario seperti layanan pelanggan berbasis AI umum, basis pengetahuan perusahaan, dan panduan belanja E-dagang. |
Cocok untuk skenario dengan data bisnis khusus yang memerlukan pelatihan dan penggunaan LLM kustom, seperti layanan pelanggan berbasis AI, basis pengetahuan perusahaan, dan panduan belanja E-dagang. |
Skenario
Layanan pelanggan berbasis AI:
Berikan dukungan pra-penjualan dan purna jual cerdas di aplikasi, mini program, dan situs web. Layanan ini mengklasifikasikan maksud pengguna dan memberikan jawaban yang relevan.
-
Mendukung pasangan Tanya & Jawab tetap berdasarkan intervensi manual.
-
Mendukung pengembalian konten multi-modal seperti gambar dan video.
-
Mendukung penggunaan NL2SQL untuk menanyakan informasi pesanan pengguna, logistik, dan lainnya dari database.
Basis pengetahuan perusahaan:
Bangun basis pengetahuan perusahaan di portal internal dan perangkat lunak obrolan untuk memberikan dukungan pengetahuan dan navigasi cepat bagi karyawan.
-
Mendukung pemagaran izin dokumen tingkat enterprise.
-
Mendukung pembaruan data real-time dan pembuatan indeks.
-
Mendukung penguraian dan pemahaman berbagai jenis data tidak terstruktur.
Panduan belanja E-dagang:
Tambahkan kemampuan panduan belanja cerdas ke kotak pencarian atau obrolan layanan pelanggan di aplikasi E-dagang dan ritel. Layanan ini menggunakan riwayat percakapan untuk merekomendasikan produk yang relevan.
-
Mendukung pemahaman konten multi-modal seperti gambar, termasuk foto produk.
-
Mendukung pengembalian tautan pencarian produk asli untuk akses cepat ke produk target.
-
Mendukung penyesuaian pengurutan hasil pencarian produk berdasarkan kebutuhan operasional.
Ringkasan konten dan komunitas:
Tambahkan ringkasan cerdas ke kotak pencarian di aplikasi konten dan komunitas. Layanan ini merespons kueri pengguna dengan panduan dan referensi yang berasal dari konten situs Anda.
-
Mendukung impor cepat konten halaman web dan situs web.
-
Mendukung pemahaman konten multi-modal seperti gambar menggunakan OCR, model besar, dan alat lainnya.
-
Mendukung pengembalian tautan ke dokumen referensi asli.
Tanya & Jawab berbasis tabel:
Untuk data terstruktur di industri seperti bisnis dan keuangan, gunakan NL2SQL untuk menanyakan konten yang relevan. LLM kemudian merangkum dan mengembalikan hasilnya.
-
Mendukung skema tabel kustom.
-
Mendukung sinkronisasi data otomatis dari sumber data MaxCompute.
-
Mendukung ekstraksi informasi, ringkasan, dan agregasi menggunakan NL2SQL.