AnalyticDB:Analisis vektor

Pengenalan database vektor

Sebagian besar data di dunia nyata—seperti gambar, audio, video, dan teks—bersifat tidak terstruktur. Volume data ini meningkat pesat seiring dengan munculnya aplikasi seperti kota pintar, video pendek, rekomendasi produk personalisasi, dan pencarian produk berbasis visual. Teknik AI mengekstraksi fitur dari data tersebut dan mengonversinya menjadi vektor fitur yang dapat disimpan, dianalisis, dan diambil. Database yang menyimpan, menganalisis, dan mengambil vektor fitur disebut database vektor.

Database vektor menggunakan Approximate Nearest Neighbor Search (ANNS) untuk mengambil vektor fitur secara cepat. ANNS mengidentifikasi tetangga terdekat yang paling mungkin daripada kecocokan eksak, menukar sedikit presisi demi efisiensi pengambilan yang jauh lebih tinggi.

Industri umumnya menerapkan ANNS dalam produksi melalui dua pendekatan:

• Layanan ANNS mandiri untuk membuat dan mengambil indeks vektor — database vektor khusus.

• Pengindeksan vektor ANNS yang diintegrasikan ke dalam database terstruktur tradisional — DBMS dengan kemampuan pengambilan vektor.

AnalyticDB for PostgreSQL mengadopsi pendekatan kedua dengan mengintegrasikan mesin vektor proprietary FastANN ke dalam DBMS lengkap yang mendukung transaksi, ketersediaan tinggi, dan skalabilitas tinggi. Anda dapat menjalankan kueri vektor langsung menggunakan SQL.

Fitur

Algoritma AI mengekstraksi fitur dari data tidak terstruktur dan merepresentasikannya sebagai vektor. Jarak antar vektor mencerminkan tingkat kemiripan data sumbernya. AnalyticDB for PostgreSQL membangun kemampuan pengambilan vektor di atas arsitektur Pemrosesan Paralel Masif (MPP), sehingga memungkinkan Anda menjalankan kueri terhadap data tidak terstruktur dan melakukan analisis asosiasi dengan data terstruktur melalui SQL.

Kasus penggunaan

AnalyticDB for PostgreSQL mendukung berbagai aplikasi cerdas melalui analisis vektor:

• Pencarian berbasis gambar untuk mengambil gambar yang secara visual mirip.

• Pengambilan video dengan mencocokkan frame tertentu.

• Pencocokan sidik jari suara (voiceprint) di berbagai klip audio.

• Rekomendasi personalisasi berdasarkan pencocokan fitur pengguna.

• Pengambilan teks semantik untuk menemukan dokumen yang mirip.

• Chatbot tanya-jawab yang didukung Large Language Models (LLMs).

• Deduplikasi file menggunakan vektor sidik jari.

Keunggulan

Database vektor AnalyticDB for PostgreSQL, yang didukung oleh FastANN, digunakan di seluruh mid-end data Alibaba, e-commerce Alibaba, ritel baru, Urban Intelligence, serta layanan tanya-jawab LLM Qwen.

Berikut keunggulan utamanya dibandingkan database vektor lainnya:

• Analisis hibrida data terstruktur dan tidak terstruktur.

  AnalyticDB for PostgreSQL menganalisis data tidak terstruktur, terstruktur, dan semi-terstruktur secara bersamaan, dengan dukungan pengindeksan penuh untuk data terstruktur dan semi-terstruktur.

• Pengambilan dua saluran dengan pencarian vektor dan pencarian teks penuh.

  AnalyticDB for PostgreSQL mendukung indeks vektor maupun indeks teks penuh, serta menggabungkannya dalam kueri untuk meningkatkan akurasi recall.

• Pembaruan dan kueri data real-time.

  AnalyticDB for PostgreSQL menyerap aliran data dan membangun indeks vektor secara real-time.

• Kemudahan penggunaan.

  AnalyticDB for PostgreSQL siap digunakan sesuai permintaan dengan sintaks SQL standar.

• Biaya rendah.

  AnalyticDB for PostgreSQL mengompresi vektor dari FP32 ke FP16, sehingga memangkas biaya penyimpanan hingga separuhnya. Indeks vektor di AnalyticDB for PostgreSQL menggunakan penyimpanan halaman tersegmentasi yang memanfaatkan cache shared_buffer PostgreSQL, sehingga AnalyticDB for PostgreSQL dapat menyimpan vektor dengan volume yang melebihi kapasitas memori yang tersedia.