OpenSearch：Apa itu AI Search Open Platform?

AI Search Open Platform menyediakan layanan algoritma berbasis komponen untuk skenario pencarian cerdas dan Generasi yang Diperkaya dengan Pengambilan Data (RAG). Platform ini mencakup berbagai layanan bawaan seperti penguraian dokumen, pemotongan dokumen, text embedding, analisis query, pengambilan, pengurutan, evaluasi kinerja, serta model bahasa besar (LLM). Pengembang dapat secara fleksibel memilih komponen sesuai kebutuhan bisnis mereka untuk mengembangkan layanan pencarian.

Fitur

Penguraian konten dokumen

Mendukung penguraian dokumen tingkat mendetail. Untuk format PDF, DOC, HTML, TXT, dan lainnya, AI Search Open Platform dapat membedakan berbagai tata letak serta mengekstraksi struktur hierarki logis seperti judul dan paragraf dari dokumen tidak terstruktur, bersama dengan elemen konten seperti teks, tabel, citra, dan kode. Platform ini juga menghapus header dan footer, mengidentifikasi superskrip dan subskrip, serta menghasilkan dokumen dalam format terstruktur.

Penguraian konten citra

Memungkinkan penguraian konten dan identifikasi teks dari citra, seperti diagram arsitektur dan grafik analitik, berdasarkan LLM multi-modal. Anda juga dapat menggunakan fitur Pengenalan Karakter Optik (OCR) untuk mengidentifikasi teks dalam citra dan memanfaatkan teks yang diekstraksi untuk pengambilan citra dan Q&A berbasis citra.

Pemotongan dokumen

Menyediakan layanan pemotongan dokumen serbaguna berdasarkan semantik dokumen, struktur paragraf, dan aturan tertentu untuk meningkatkan efisiensi pemrosesan dokumen dan pengambilan selanjutnya. Pohon potongan yang dihasilkan dapat digunakan untuk penyelesaian konteks selama pengambilan.

Model penyematan multibahasa

• Text embedding mengonversi data teks menjadi vektor padat. Beberapa model tersedia untuk berbagai bahasa, panjang input, dan dimensi output. Layanan ini dapat digunakan untuk pencarian informasi, klasifikasi teks, dan perbandingan relevansi.

• Text sparse embedding mengonversi data teks menjadi vektor jarang yang lebih hemat ruang penyimpanan. Vektor jarang dapat digunakan untuk merepresentasikan kata kunci dan informasi istilah yang sering digunakan. Anda dapat melakukan pencarian hibrida dengan menggunakan vektor jarang dan padat untuk meningkatkan kinerja pengambilan.

• Layanan tuning berbasis model vektor didukung. Anda dapat menyesuaikan dan melatih model reduksi dimensi untuk mengurangi dimensi vektor tanpa memengaruhi hasil pengambilan secara signifikan.

Analisis query

Menyediakan layanan analisis konten untuk query berdasarkan LLM dan kemampuan NLP untuk memahami maksud pengguna, memperluas pertanyaan serupa, dan mengubah pertanyaan dalam bahasa alami menjadi Pernyataan SQL. Ini meningkatkan efektivitas pencarian percakapan dalam skenario RAG.

Mesin pencari

Menyediakan mesin pengambilan vektor dan teks. Anda dapat menyimpan vektor dan teks, membangun indeks, serta melakukan pengambilan vektor dan teks secara online. Setelah mengaktifkan mesin, Anda dapat menggunakannya bersama Operasi API AI Search Open Platform untuk memproses dan mengambil data.

Pengurutan

Menyediakan layanan pengurutan terkait query dan dokumen. Dalam skenario RAG dan pencarian, layanan pengurutan membantu menemukan konten yang lebih relevan dan mengembalikannya secara berurutan. Layanan ini secara efektif meningkatkan akurasi pengambilan dan generasi LLM.

Generasi teks berbasis LLM

Menyediakan berbagai LLM, termasuk model Qwen3-235B-A22B, model QwQ, semua model DeepSeek (termasuk DeepSeek R1 dan V3, serta model distill 7B dan 14B), dan seri Qwen (Qwen-Turbo, Qwen-Plus, dan Qwen-Max). AI Search Open Platform juga menyediakan model OpenSearch-Qwen-Turbo bawaan, yang dikembangkan berdasarkan model qwen-turbo dan ditingkatkan dalam kemampuan RAG setelah supervised fine-tuning untuk mengurangi laju halusinasi.

Manfaat

• Kemampuan Pencarian AI yang Kaya: AI Search Open Platform memungkinkan Anda melatih model pencarian AI khusus berdasarkan basis model terkemuka. Platform ini mengintegrasikan layanan berbasis komponen ujung ke ujung untuk pencarian dan skenario RAG.

• Metode Panggilan yang Fleksibel: Pengembang, pelanggan perusahaan, dan vendor perangkat lunak independen (ISV) dapat memanggil Operasi API atau menggunakan SDK untuk mengintegrasikan sebagian atau seluruh layanan pencarian AI dengan sistem bisnis mereka.

• Ketersediaan Langsung: Semua layanan tersedia segera setelah Anda mengaktifkan AI Search Open Platform.

• Praktik Terbaik: Dengan akumulasi bertahun-tahun dalam pencarian cerdas dan RAG, AI Search Open Platform menyediakan berbagai praktik terbaik pencarian AI untuk membantu Anda dengan cepat membangun alur kerja pencarian yang disesuaikan dengan kebutuhan bisnis Anda.

Skenario

AI Search Open Platform memungkinkan Anda mengembangkan layanan dalam skenario berikut: