AnalyticDB:ベクトル分析

ベクトルデータベースの概要

画像、音声、動画、テキストなど、実世界のデータのほとんどは非構造化データです。スマートシティ、ショートビデオ、パーソナライズされた商品推奨、画像による商品検索などのアプリケーションにより、この非構造化データの量は急速に増大しています。AI 技術は、これらのデータから特徴を抽出し、特徴ベクトルに変換します。この特徴ベクトルは、保存、分析、検索が可能です。特徴ベクトルを保存、分析、検索するデータベースが、ベクトルデータベースです。

ベクトルデータベースは、近似最近傍探索 (ANNS) を使用して特徴ベクトルを高速に検索します。ANNS は、完全一致ではなく、最も可能性の高い近傍を特定し、適合率をわずかに犠牲にすることで、検索効率を大幅に向上させます。

業界では、本番環境で ANNS を適用するために 2 つのアプローチが使用されています：

• ベクトルインデックスを作成および検索するためのスタンドアロン ANNS サービス — 専用ベクトルデータベース。

• 従来の構造化データベースに統合された ANNS ベクトルインデックス機能 — ベクトル検索機能を備えた DBMS。

AnalyticDB for PostgreSQL は 2 番目のアプローチを採用しており、独自の FastANN ベクトルエンジンを、トランザクション、高可用性、高いスケーラビリティを備えたフル機能の DBMS に統合しています。SQL を使用してベクトルを直接クエリできます。

機能

AI アルゴリズムは、非構造化データから特徴を抽出し、それらをベクトルとして表現します。ベクトル間の距離は、ソースデータの類似性を反映します。AnalyticDB for PostgreSQL は、超並列処理 (MPP) アーキテクチャ上にベクトル検索を構築しているため、SQL を通じて非構造化データをクエリし、構造化データとの関連分析を実行できます。

ユースケース

AnalyticDB for PostgreSQL のベクトル分析は、さまざまなインテリジェントアプリケーションをサポートします：

• 画像ベースの検索による視覚的に類似した画像の取得

• 特定フレームのマッチングによる動画検索

• 音声クリップ間でのボイスプリント照合

• ユーザーの特徴マッチングに基づくパーソナライズされた推奨

• 類似ドキュメントを見つけるためのセマンティックテキスト検索

• 大規模言語モデル (LLM) を活用した Q&A チャットボット

• フィンガープリントベクトルを使用したファイルの重複排除

利点

FastANN を搭載した AnalyticDB for PostgreSQL のベクトルデータベースは、Alibaba のデータミドルエンド、Alibaba の e コマース、ニューリテール、都市インテリジェンス、Qwen LLM Q&A サービスなどで使用されています。

他のベクトルデータベースに対する主な利点：

• 構造化データと非構造化データのハイブリッド分析

  AnalyticDB for PostgreSQL は、非構造化データ、構造化データ、半構造化データをまとめて分析し、構造化データと半構造化データの完全なインデックス作成をサポートします。

• ベクトル検索と全文検索によるデュアルチャネル検索

  AnalyticDB for PostgreSQL は、ベクトルインデックスと全文検索インデックスの両方をサポートしており、クエリでこれらを組み合わせることで再現率を向上させます。

• リアルタイムのデータ更新とクエリ

  AnalyticDB for PostgreSQL は、ストリーミングデータを取り込み、リアルタイムでベクトルインデックスを構築します。

• 使いやすさ

  AnalyticDB for PostgreSQL は、標準の SQL 構文を使用してオンデマンドですぐに利用できます。

• 低コスト

  AnalyticDB for PostgreSQL は、ベクトルを FP32 から FP16 に圧縮し、ストレージコストを半減させます。AnalyticDB for PostgreSQL のベクトルインデックスは、PostgreSQL の shared_buffer キャッシュを活用するセグメント化されたページストレージを使用するため、AnalyticDB for PostgreSQL は利用可能なメモリを超えるベクトルを保存できます。