개요
벡터 검색 서비스DashVector는 Alibaba Cloud의 벡터 엔진 Proxima의 커널을 기반으로 개발되었습니다. 클라우드 네이티브 아키텍처에서 완벽하게 관리되는 효율적인 벡터 검색 서비스를 제공하며, 비즈니스 요구 사항에 맞게 수평 및 수직으로 확장할 수 있습니다. 벡터 검색 서비스는 간단한 API와 SDK를 통해 강력한 벡터 관리 및 검색 기능을 제공하므로 인텔리전트 Q&A, 멀티모달 검색 등 다양한 시나리오의 애플리케이션과 쉽게 통합할 수 있습니다.
작동 방식
-
애플리케이션
멀티모달 검색, 인텔리전트 Q&A, LLM 기반 서비스 등 다양한 시나리오의 애플리케이션을 로우코드 API와 간단한 SDK를 통해 DashVector 와 통합할 수 있습니다.
-
DashVector
클라우드 네이티브 아키텍처를 기반으로 클러스터와 지역에 분산 배치할 수 있어, 클러스터와 서비스(검색기)를 확장하여 서비스 볼륨과 성능(QPS 등)을 조정하여 비즈니스 변화에 유연하게 대응할 수 있습니다. DashVector 콘솔에서 벡터 검색 서비스(클러스터, 컬렉션, API 키 등)를 관리하고 구성할 수 있습니다. 로우 코드로 빠르게 시작할 수 있도록 주요 프로그래밍 언어용 SDK를 제공합니다.
-
클라우드 인프라
Alibaba Cloud는 컴퓨팅, 스토리지, 네트워킹을 위한 강력한 클라우드 리소스와 데이터 처리 및 컨테이너 관리를 위한 강력한 서비스를 제공하여 유연하고 안정적인 클라우드 네이티브 아키텍처를 지원합니다.
혜택
-
완전 관리형 서비스
서버리스 아키텍처에서 낮은 O&M 비용으로 비즈니스를 위한 완전 관리형 클라우드 네이티브 벡터 검색 서비스를 빠르게 통합하고 데이터 사용량에 대해서만 비용을 지불하세요
-
벡터 검색을 위한 설계
조건부 필터링, 데이터 파티션, 다양한 검색 유형, 멀티모달 데이터 검색 등을 지원하는 풍부한 기능으로 다양한 비즈니스 시나리오에서 다양한 검색 요구 사항을 충족하세요.
-
확장성-성능 균형
간편한 단계로 클러스터 또는 검색 서비스를 확장하여 규모, 정확도, 성능의 균형을 달성함으로써 비즈니스 요구에 따라 서비스 용량과 QPS를 유연하게 조정하세요
-
로우 코드
최소한의 코딩이 필요한 사용하기 쉬운 API와 즉시 사용 가능한 SDK로 손쉽게 벡터 데이터 관리 및 검색 서비스를 시작하세요
특징
클라우드의 완전 관리형 벡터 검색 서비스
매우 정확하고 효율적인 검색
DashVector는 대규모 데이터의 낮은 레이턴시 검색을 달성하기 위해 고성능 알고리즘을 제공하는 Alibaba Cloud의 벡터 검색 엔진 Proxima를 통합합니다.
낮은 O&M 비용
수평 및 수직 확장성을 갖춘 완전 관리형 클라우드 네이티브 벡터 검색 서비스는 O&M 비용을 줄여주며, 기본 아키텍처에 대한 걱정 없이 비즈니스 요구에만 집중할 수 있도록 해줍니다.
미니멀한 SDK 디자인
로우코드 API와 사용하기 쉬운 SDK는 다양한 비즈니스 시나리오의 AI 애플리케이션과의 신속한 통합을 지원합니다.
벡터 데이터의 실시간 인덱싱
스트리밍 데이터를 이용한 인덱싱
DashVector는 플랫 인덱스 아키텍처를 채택하여 처음부터 대규모 스트리밍 데이터의 온라인 인덱싱을 지원합니다.
실시간 온라인 업데이트
벡터 데이터를 추가, 삭제 또는 수정하면 벡터 상태가 즉시 적용됩니다. 벡터 데이터는 추가되는 즉시 확인되고 하드 드라이브에 실시간으로 기록됩니다. 벡터 데이터 상태도 실시간으로 업데이트됩니다.
대용량 데이터의 빠른 인덱싱
DashVector는 다양한 방식으로 인덱스 구조와 로딩 방식을 최적화하고, 2차원부터 20,000차원까지 대규모 벡터 데이터 가져오기를 지원합니다.
필터 검색
사용자 지정 가능한 스키마
필터 검색의 경우, DashVector는 사전 정의된 필드를 사용하여 검색 속도를 높이고 컴퓨팅 전력 소비를 줄입니다.
여러 표현식을 사용한 필터 검색
'<', '<=', '=', '!=', '>=', '>', ‘and’, ‘or’, ‘like’ 등의 비교, 논리 및 문자열 연산자를 사용하여 조합 검색을 수행할 수 있습니다.
희소 벡터
키워드 검색 및 하이브리드 검색
의미론과 키워드의 균형을 맞추기 위해 희소 벡터와 고밀도 벡터를 모두 지원하는 DashVector를 통해 키워드 검색, 벡터 검색 또는 하이브리드 검색(키워드+벡터)을 수행할 수 있습니다.
희소 벡터 생성기
희소 벡터 인코딩에는 DashVector의 DashText를 사용하는 것이 좋습니다. DashText는 BM25 알고리즘을 사용하여 원시 텍스트를 희소 벡터 데이터로 변환하여 키워드 기반 벡터 검색 프로세스를 크게 간소화합니다.
시나리오
DashVector API를 사용해 텍스트 인덱싱과 벡터 검색 기능을 기반으로 시맨틱 검색 서비스를 처음부터 빠르게 구축하여 Tongyi Qianwen과 같은 생성형 AI 애플리케이션을 지원할 수 있습니다. 이러한 애플리케이션은 텍스트 기반 콘텐츠(번역, 재작성, 요약 등)를 만들고, 코드를 작성하고, 역할극을 할 수 있습니다.
혜택
-
높은 효율성
벡터 데이터를 실시간으로 추가, 삭제, 검색, 수정할 수 있으며, 여러 데이터 소스에서 증분 또는 전체 데이터 동기화를 수행할 수 있습니다.
-
빠르고 정확
다양한 연산자의 조합으로 필터링된 검색을 수행하고 스키마 프리 디자인이 지원하는 데이터 필드를 사용자 지정하여 벡터 검색 프로세스를 가속화할 수 있습니다.
DashVector는 이미지, 동영상, 텍스트의 단일 파일을 임베딩이라는 고차원 벡터 피처로 추상화한 다음, 모든 피처를 기반으로 효율적인 벡터 인덱스를 구축합니다. 사용자는 텍스트를 입력하거나 사진이나 동영상을 업로드하기만 하면 유사한 파일을 검색할 수 있습니다. 이 멀티모달 검색 서비스는 사용자 경험을 크게 개선합니다.
혜택
-
유연성
데이터에 대해 여러 컬렉션과 파티션을 설정하고 쉽게 관리할 수 있습니다
-
스키마 프리
데이터 필드를 사용자 지정하고 벡터 검색의 유연성과 정확성을 높일 수 있습니다.
-
편리함
로우코드 API와 사용하기 쉬운 SDK를 통해 멀티모달 검색 서비스를 빠르게 설정할 수 있습니다.
DashVector와 대형 언어 모델(LLM)을 결합하여 도메인별 지식 Q&A 시스템을 구축할 수 있습니다. 먼저 사용자 입력과 지식 베이스의 콘텐츠를 모두 고품질 벡터로 변환한 다음, DashVector를 통해 매칭 프로세스를 시맨틱 검색으로 변환하여 관련 지식을 보다 정확하고 효율적으로 추출할 수 있습니다. 해당 프롬프트를 통해 이 서비스는 사용자의 의도를 이해하고 지식 베이스의 정보로 답변을 제공할 수 있습니다.
혜택
-
클라우드 네이티브
클라우드 네이티브 시스템 아키텍처는 컴퓨팅 리소스와 스토리지 리소스를 분리하므로 쉽게 스케일업 및 스케일아웃할 수 있습니다.
-
손쉬운 통합
도메인별 지식 베이스를 DashVector와 통합하여 정확한 Q&A 서비스를 제공할 수 있습니다.
-
넓은 범위
벡터 검색 서비스는 대규모 벡터 데이터의 빠른 리콜을 지원하여 벡터 검색의 정확도를 향상시킵니다.
인텔리전트 검색, 광고 푸시 등의 시나리오에서는 구매 기록과 같은 사용자 인사이트를 벡터 데이터로 변환하고, DashVector는 벡터 데이터베이스에서 유사도에 따라 관련 상품 정보를 검색하여 잠재 구매자에게 추천함으로써 구매율과 사용자 경험을 개선합니다.
혜택
-
높은 호환성
벡터 검색 서비스는 광범위한 데이터 유형과 다양한 검색 방법을 지원합니다.
-
고성능
대규모 텍스트 및 벡터 데이터를 위한 DAMO Academy의 벡터 검색 엔진과 Alibaba Cloud의 고가용성 아키텍처는 다양한 검색 시나리오에 대해 고성능을 제공합니다.
-
사용자 지정 가능
검색 범위를 사용자 지정하고 유사도에 대한 임계값을 설정할 수 있습니다(임계값보다 높은 유사도를 가진 벡터 데이터는 필터링).
간단한 5단계로 벡터 검색 서비스 시작하기
