PolarSearch - Pencarian yang kompatibel dengan Elasticsearch untuk PolarDB - PolarDB

PolarSearch adalah mesin pencarian dan analitik terdistribusi milik PolarDB yang dibangun di atas OpenSearch. Kompatibel dengan ekosistem Elasticsearch dan OpenSearch, PolarSearch menyediakan pencarian teks penuh, pencarian vektor, serta analisis data multimodal tingkat milidetik melalui API dan SDK. Dengan fitur bawaan AutoETL, data dari PolarDB secara otomatis diagregasi dan disinkronkan ke PolarSearch secara real-time tanpa memerlukan pipa data manual.

Dengan PolarSearch, Anda dapat:

Full-text retrieval

curl -X GET "http://<endpoint>:<port>/articles/_search" -H "Content-Type:application/json" -d '
{
  "query": {
    "match": {
      "content": "PolarSearch"
    }
  }
}'

Vector retrieval

curl -X GET "http://<endpoint>:<port>/my-vector-index/_search" -H "Content-Type:application/json" -d '
{
  "size": 2,
  "query": {
    "knn": {
      "vector_field": {
        "vector": [0.1, 0.5, -0.3, 0.8],
        "k": 2
      }
    }
  }
}'

Technical architecture

PolarSearch berjalan di atas penyimpanan bersama terdistribusi PolarStore dengan arsitektur cloud-native komputasi-penyimpanan terpisah. PolarSearch mengintegrasikan mesin pencarian proprietary dan framework komputasi terdistribusi yang kompatibel dengan DSL Elasticsearch, serta menyimpan, menganalisis, dan mengambil data multimodal dalam skala petabyte secara real-time.

Benefits

Improved efficiency: Menghilangkan pipa sinkronisasi data dari atau PostgreSQL ke mesin pencarian, sehingga mengurangi latensi workload pengambilan data dari menit menjadi milidetik dan memangkas waktu pengembangan hingga 50%.
Cost optimization: Menggantikan arsitektur konvensional "database + file storage + compute engine" dengan penyimpanan bersama terdistribusi multi-level PFS, sehingga mengurangi TCO hingga 40%.
Business innovation: Mendukung infrastruktur AI—rekomendasi cerdas, basis pengetahuan RAG, dan basis memori agen—melalui penyimpanan data tidak terstruktur, penambangan, dan pengambilan vektor.

Use cases

E-commerce platforms and SaaS

Pencarian fuzzy, pencocokan semantik, dan rekomendasi personalisasi untuk judul produk dan halaman produk.
Analisis kata kunci real-time dan penambangan sentimen dalam konten yang dihasilkan pengguna (UGC).

RAG knowledge bases and document management

Pengindeksan dan pengambilan teks penuh lintas format dokumen seperti PDF, Word, dan lainnya.
Penyimpanan fitur gambar berbasis vektor untuk pencarian visual.

Agent memory and data management

Memori jangka pendek untuk konteks percakapan, status sesi, dan variabel sementara.
Memori jangka panjang untuk preferensi pengguna, konten kueri historis, dan parameter LLM.

Log analysis and service monitoring

Pengambilan real-time, agregasi statistik, dan peringatan anomali pada data log berskala petabyte.
Analisis asosiasi dan laporan visual lintas bidang log multidimensi.

IoT and real-time data streams

Ingest throughput tinggi dan pengambilan cepat data time-series dari perangkat IoT.
Agregasi dinamis dan pemfilteran multi-kondisi pada data sensor.

Core features

High availability and scalability

Load balancing otomatis dan failover tanpa hambatan saat terjadi kegagalan pada satu node, mencapai ketersediaan layanan 99,99%.
Scaling online untuk penyimpanan dan komputasi guna menangani ratusan juta catatan.

Intelligent search engine

Pengoptimal mengidentifikasi kueri indeks teks penuh pada data tabel utama InnoDB dan mengarahkannya ke node pencarian.
Indeks campuran yang menggabungkan segmentasi teks, vektorisasi semantik, dan rentang numerik meningkatkan performa kueri lebih dari 10 kali lipat.
Model NLP bahasa Mandarin bawaan dengan ekspansi sinonim, koreksi pinyin, dan pengenalan maksud.
Beberapa plugin tokenisasi dengan dukungan unggah dan pembaruan kamus kustom.

Multimodal data fusion

Penyimpanan dan pengambilan terpadu melalui indeks maju skalar, indeks terbalik teks penuh, dan indeks vektor.
Memperluas penyimpanan, pengambilan, dan penguraian konten untuk data tidak terstruktur seperti gambar dan dokumen.

Real-time retrieval and analytics

Data dapat dicari dalam ratusan milidetik setelah ditulis. Mendukung filtering kompleks, statistik bucket, dan pengurutan Top K.
Fungsi bawaan untuk perhitungan rolling window time-series dan deteksi geofence.

Automated data aggregation and real-time sync (AutoETL)

Mengagregasi data dari satu atau beberapa sumber PolarDB dan menyinkronkannya ke PolarSearch secara real-time.