AnalyticDB：Analisis Vektor

Pengenalan database vektor

Dalam skenario dunia nyata, sebagian besar data berupa data tak terstruktur seperti gambar, audio, video, dan teks. Data tak terstruktur tumbuh secara eksponensial dengan munculnya aplikasi di bidang-bidang seperti kota pintar, video pendek, rekomendasi produk personalisasi, dan pencarian produk visual. Untuk memproses data tak terstruktur, teknologi AI digunakan untuk mengekstraksi fitur dari data tersebut, mengonversinya menjadi vektor fitur, lalu menganalisis dan mengambil vektor fitur. Database yang dapat menyimpan, menganalisis, dan mengambil vektor fitur disebut database vektor.

Database vektor menggunakan teknologi indeks vektor untuk mengambil vektor fitur dengan cepat. Dalam kebanyakan kasus, indeks vektor digunakan untuk pencarian tetangga terdekat aproksimatif (ANNS). Tujuan dari indeks vektor adalah untuk mencari data tetangga terdekat dan mengembalikan hasil yang paling akurat untuk meningkatkan efisiensi pencarian. Dibandingkan dengan database tradisional, database vektor mengimplementasikan pencarian data yang sangat efisien dengan kompromi yang dapat diterima dalam hal akurasi.

Terdapat dua metode untuk menerapkan indeks vektor ANNS ke lingkungan produksi:

• Membangun database vektor khusus yang menyediakan layanan indeks vektor ANNS untuk membantu membuat indeks vektor dan mengambil data.

• Mengintegrasikan indeks vektor ANNS ke dalam database terstruktur tradisional untuk membangun sistem manajemen database (DBMS) yang menyediakan kemampuan pencarian vektor.

AnalyticDB for PostgreSQL merupakan jenis DBMS yang mengintegrasikan mesin vektor internal FastANN. AnalyticDB for PostgreSQL juga menyediakan kemampuan database ujung-ke-ujung seperti kemudahan penggunaan, pemrosesan transaksi, ketersediaan tinggi, dan skalabilitas tinggi.

Cara kerjanya

Untuk mengimplementasikan analisis vektor, database vektor menggunakan algoritma AI untuk mengekstraksi fitur dari data tak terstruktur, kemudian menggunakan vektor fitur untuk mengidentifikasi data tersebut. Jarak antar vektor digunakan untuk mengukur kesamaan antara data tak terstruktur. AnalyticDB for PostgreSQL menggunakan arsitektur pemrosesan paralel masif (MPP) untuk mengimplementasikan pencarian dan analisis vektor. Anda dapat menggunakan Pernyataan SQL untuk mengambil data tak terstruktur dan melakukan analisis korelasi antara data terstruktur dan tak terstruktur.

Skenario

Anda dapat menggunakan AnalyticDB for PostgreSQL analisis vektor dalam skenario aplikasi cerdas berikut:

• Pencarian gambar terbalik. Anda dapat mencari gambar yang mirip dengan gambar tertentu.

• Pencarian video memungkinkan Anda mencari gambar video yang serupa dengan gambar video tertentu.

• Pencarian sidik suara memungkinkan Anda mencari file audio yang serupa dengan file audio tertentu berdasarkan pengenalan sidik suara.

• Sistem rekomendasi dapat merekomendasikan fitur yang sesuai berdasarkan karakteristik pengguna.

• Pencarian teks memungkinkan Anda mencari teks serupa dengan teks tertentu berdasarkan semantik.

• Chatbot Tanya & Jawab dibangun menggunakan kombinasi model bahasa besar.

• Deduplikasi file memungkinkan Anda menghapus file duplikat berdasarkan sidik jari file tertentu.

Manfaat

AnalyticDB for PostgreSQL menggunakan mesin vektor FastANN internal untuk menyediakan kemampuan analisis vektor. Analisis vektor banyak digunakan di berbagai bidang seperti data mid-end Alibaba Group, e-commerce, ritel baru, City Brain Alibaba Cloud, dan layanan Tanya & Jawab Tongyi Qianwen.

Dibandingkan dengan database vektor lainnya, AnalyticDB for PostgreSQL menyediakan keuntungan sebagai berikut:

• Analisis hibrida data terstruktur dan tak terstruktur

  AnalyticDB for PostgreSQL menggunakan kemampuan database tradisional untuk mengimplementasikan analisis hibrida data terstruktur, semi-terstruktur, dan tak terstruktur serta memanfaatkan kemampuan pengindeksan data terstruktur dan semi-terstruktur secara efisien.

• Pengambilan dua arah berdasarkan pencarian vektor dan pencarian teks penuh

  AnalyticDB for PostgreSQL mendukung indeks vektor dan indeks teks penuh, serta dapat menggunakan pencarian vektor dan pencarian teks penuh untuk mengimplementasikan pengambilan dua arah. Hal ini secara signifikan meningkatkan akurasi pengambilan data vektor.

• Pembaruan dan kueri data waktu nyata

  AnalyticDB for PostgreSQL mendukung impor aliran dan pembuatan data vektor secara real-time.

• Kemudahan penggunaan

  AnalyticDB for PostgreSQL mudah digunakan setelah Anda membuat instance dan mendukung sintaks SQL standar. Hal ini secara signifikan menyederhanakan proses pengembangan.

• Efektivitas biaya

  AnalyticDB for PostgreSQL database vektor dapat menekan data FP32 ke format FP16. Hal ini mengurangi biaya penyimpanan sebesar 50%. AnalyticDB for PostgreSQL database vektor juga membangun indeks vektor pada penyimpanan paging tersegmentasi, dan dapat memanfaatkan mekanisme pertukaran berbasis cache berdasarkan buffer bersama PostgreSQL. Dengan cara ini, AnalyticDB for PostgreSQL dapat menyimpan indeks vektor yang melebihi ukuran memori yang tersedia.