OpenSearch:Início rápido para instâncias de nó único

Este tópico descreve como adquirir uma instância de nó único do OpenSearch Vector Search Edition.

Adquirir uma instância

1. Acesse o console do OpenSearch e alterne para OpenSearch Vector Search Edition no canto superior esquerdo. Em seguida, na página de lista de instâncias, clique em Create Instance.

2. Defina a edição do produto como Vector Search Edition, selecione uma região, configure Data Nodes, Data Node Specifications e Total Storage per Data Node, e defina VPC e vSwitch. Por fim, configure um nome de usuário e senha conforme solicitado (usados para verificar permissões durante consultas; esta não é a senha da sua conta Alibaba Cloud) e clique em Buy Now:

   Preencha as seguintes configurações na página de compra:

   • Product Edition: Selecione Vector Search Edition.

   • Region and Zone: Selecione a região desejada, como China (Hangzhou).

   • Data Nodes: Defina conforme suas necessidades de negócio, por exemplo, 1.

   • Data Node Specification Family: Escolha entre Local SSD ou Cloud Disk.

   • Data Node Specifications: Selecione as especificações necessárias, por exemplo, 2 núcleos e 16 GB.

   null

   • Planeje o número e as especificações dos nós de dados com base no seu negócio. Após definir as especificações, o custo real será gerado automaticamente na página de compra.

   • Para a solução de nó único, não é necessário adquirir nós de consulta (ou seja, o número de nós de consulta é 0), e a família de especificações de nós de consulta não se aplica.

   • As configurações de VPC e vSwitch devem ser idênticas às da instância ECS que acessará a instância do Vector Search Edition. Caso contrário, o erro {'errors':{'code':'403','message':'Forbidden'}} será retornado ao acessar a instância do Vector Search Edition.

   • A família de especificações de nós de dados SSD inclui uma cota gratuita de 50 GB, e o armazenamento adicional é cobrado em incrementos de 50 GB. O tipo cloud disk não possui cota gratuita, e o armazenamento é cobrado em incrementos de 50 GB.

3. Na página Confirm Order, revise o acordo de serviço. Após confirmar que tudo está correto, clique em Activate Now.

4. Após a conclusão da compra, clique em Console para visualizar a instância do Vector Search Edition adquirida na página Instances.

Configurar a instância

Para uma instância recém-adquirida, o status na página de detalhes será Pending Configuration, e uma instância vazia compatível com o número e as especificações dos nós de dados adquiridos será implantada automaticamente. Em seguida, configure as informações básicas da tabela, sincronização de dados, campos e esquema de índice da instância. Após a reconstrução do índice, a busca funcionará normalmente.

1. Informações básicas da tabela

No gerenciamento de tabelas, clique em Add Table, insira um table name, defina o number of data shards e o number of resources for data updates, selecione o scenario template desejado e clique em Next:

Descrição das configurações:

• Table Name: Pode ser personalizado.

• Number of Data Shards: Como se trata de uma instância de nó único, o valor é fixo no padrão 1 e não pode ser alterado. A instância atual suporta apenas a solução de shard único. É possível fazer scale out para suportar múltiplos nós. Para mais informações, consulte documentação de dimensionamento.

• Number of Resources for Data Updates: Quantidade de recursos utilizados para atualizações de dados. Cada índice recebe gratuitamente dois recursos de atualização de 4 núcleos e 8 GB por padrão. Recursos que excederem a cota gratuita gerarão custos. Para mais detalhes, consulte Visão geral do faturamento do OpenSearch Vector Search Edition

• Scenario Template: O Vector Search Edition oferece três modelos integrados: General, Vector-Image Search e Vector-Text Semantics.

2. Sincronização de dados

Selecione a fonte de dados completa (as fontes suportadas incluem MaxCompute+API, Object Storage Service (OSS)+API, Sincronizar dados vetoriais do OpenLake-DLF para o Alibaba Cloud OpenSearch e API). Este tópico utiliza MaxCompute+API como exemplo. Após configurar os parâmetros e eles passarem pela verificação, clique em Next.

Ao selecionar MaxCompute+API, especifique os seguintes parâmetros:

• AccessKey e AccessKey Secret

• Project: Deve começar com uma letra, conter apenas letras, dígitos e underscores, e ter entre 3 e 28 caracteres.

• Table: Deve ter entre 1 e 128 caracteres.

• Partition: Se a tabela de origem possuir partições multinível, separe-as com vírgulas.

• Automatic Index Rebuilding: Se selecionar Yes, certifique-se de que uma tabela "done" foi criada no MaxCompute. Caso contrário, a reconstrução automática de índice não terá efeito.

Após concluir as definições, clique no botão Verify para validar a fonte de dados.

3. Configuração de campos

O OpenSearch predefine campos relevantes com base no modelo de cenário selecionado e importa automaticamente os campos da fonte de dados completa (se houver) para a lista de campos:

Descrição da configuração de campos:

• Campos obrigatórios: campo de chave primária e campo vetorial. O campo de chave primária deve ser do tipo int ou string, e a opção Primary Key deve estar selecionada. O campo vetorial deve ser do tipo float, e a opção Vector Field deve estar selecionada.

• Por padrão, o campo vetorial é um campo float multivalorado. Múltiplos valores são separados pelo delimitador padrão do sistema, a vírgula ",". Também é possível inserir um delimitador multivalorado personalizado.

• Se um campo estiver ausente nos dados ou vazio, o sistema preencherá automaticamente um valor padrão: 0 para tipos numéricos e uma string vazia para o tipo STRING. Valores padrão personalizados são suportados.

4. Esquema de índice

4.1. Índice vetorial

Na aba Vector Index, insira um index name (como message_vector) e especifique se deseja ativar a hybrid retrieval. O topo da página indica que o OpenSearch construiu automaticamente índices com os mesmos nomes para todos os campos, exceto os campos vetoriais.

• Os campos de chave primária e vetor são obrigatórios. O campo namespace é opcional e pode ficar vazio.

• Apenas os três campos fixos podem ser selecionados. Não há suporte para adicionar outros campos.

• Dimensão do vetor: Selecione com base nos vetores gerados pelo seu modelo.

• Tipo de distância: InnerProduct (distância de produto interno; maior pontuação indica maior relevância) e SquareEuclidean (distância euclidiana; menor pontuação indica maior relevância) são suportados.

• Algoritmo de índice vetorial: Linear, HNSW, QGraph e QC são suportados. Instâncias com especificações GPU também suportam o algoritmo CAGRA. Para mais detalhes sobre os algoritmos, consulte Introdução a vetores.

• Índice em tempo real: Define se os índices vetoriais são construídos em tempo real para dados incrementais via API. Valor padrão: true.

• Para configurações mais avançadas, clique para expandir a seção. Para descrições dos parâmetros, consulte Configuração geral de índice vetorial.

  As configurações avançadas incluem os seguintes parâmetros:

  • Real-time Index Parameters: Valor padrão: {"proxima.oswg.streamer.segment_size":2048}

  • Index Retrieval Parameters: Valor padrão: {"proxima.qc.searcher.scan_ratio":0.01}

  • Index Building Parameters: Valor padrão: {"proxima.qc.builder.quantizer_class":"Int8Quant"...}

  • Minimum Number of Retrieval Candidates: Valor padrão: 20000

  • Linear Build Threshold: Valor padrão: 5000

  • Ignore Invalid Vector Data: Valor padrão: true

  • Recall Rate Metric Reporting: Valor padrão: true

4.2. Outros tipos de índice

O OpenSearch construiu automaticamente índices com os mesmos nomes para todos os campos, exceto os vetoriais, e você pode gerenciá-los aqui. Os índices vetoriais devem ser configurados manualmente.

Na aba Other Index Types, a tabela de configuração de índice contém as seguintes colunas: Index Name, Included Fields, Build Index (controlado por um interruptor) e Index Type (índice de chave primária ou índice normal). Você pode ativar ou desativar a construção de índice para cada campo e selecionar o tipo de índice correspondente conforme as necessidades do seu negócio.

4.3. Configuração global de índice

Este recurso vem desativado por padrão. Ao ativá-lo, é possível definir um tempo de expiração para um campo inteiro. Se o tempo atual menos o tempo do documento > tempo de expiração, o documento será removido automaticamente.

Os itens de configuração incluem Document Time Field (selecione um campo inteiro que represente o tempo do documento e especifique a unidade de tempo) e Expiration Time (valores válidos: 1 a 49710 dias).

5. Confirmar criação

Após concluir a configuração do índice, clique em Configure. O status da tabela mudará para "em criação".

6. Histórico de alterações

Em Instance Management > Change History, é possível visualizar registros de alterações dos últimos 3, 7 ou 30 dias, incluindo todos os processos de criação de tabela, adição de índice, scale out e importação completa de dados. Quando todos os processos forem concluídos, o mecanismo estará construído e você poderá iniciar testes de consulta.

7. Teste de consulta

Depois de criar a tabela e adicionar dados, execute consultas em Confirm Creation>Vector Management. Os testes de consulta suportam tanto o modo formulário quanto o modo desenvolvedor.

7.1 Modo formulário

Configure sequencialmente Form Mode → Table Name → tipo de Query. Defina o tipo de consulta como Vector ou Text. Neste exemplo, Text está selecionado. Insira o texto da consulta no campo de texto e clique em Search. Os resultados aparecerão na seção Search Results.

7.2 Modo desenvolvedor

Configure sequencialmente Form Mode → Table Name → Search Box. Insira os parâmetros de consulta na caixa de busca e clique em Search. Os resultados aparecerão na seção Search Results.

• vector: o vetor a ser consultado

• topK: o número de principais resultados (K) a serem retornados

• includeVector: especifica se as informações vetoriais devem ser retornadas nos documentos

Para a sintaxe detalhada de consulta, consulte a descrição de sintaxe abaixo.

Descrição da sintaxe

• Consulta vetorial

• Consulta baseada em chave primária

• Expressões de filtro

Usar busca vetorial em SDKs

• Consultar dados (realize consultas vetoriais e de chave primária usando SDKs)

• Atualizar dados (adicione e exclua registros usando SDKs)

Upgrade de nó único para múltiplos nós

Para fazer upgrade de uma instância de nó único para múltiplos nós, realize as seguintes operações:

1. Na página de lista de instâncias, localize a instância e clique em Upgrade/Downgrade na coluna Actions à direita.

2. Na página de alteração de configuração, selecione o número e as especificações dos nós de consulta para scale out ou scale in, marque o acordo de serviço e clique em Buy Now.