PolarDB:Realizar recuperação de vetores usando o protocolo MySQL

Escopo

Antes de utilizar este recurso, verifique se o seu cluster atende aos seguintes requisitos: a versão do kernel deve ser MySQL 8.0.2 e a versão de revisão deve ser 8.0.2.2.30 ou posterior.

Histórico de atualizações de versão

Os recursos suportados variam conforme a versão do kernel. Recomendamos que você atualize para a versão mais recente.

Tipo vetorial

-- The following example defines column v1 in table t1 with a vector dimension of 4
CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

SELECT STRING_TO_VECTOR('[1,2,3,4]');
+-------------------------------+
| STRING_TO_VECTOR('[1,2,3,4]') |
+-------------------------------+
|   �?   @  @@  �@              |
+-------------------------------+

SELECT HEX(STRING_TO_VECTOR('[1,2,3,4]'));
+------------------------------------+
| HEX(STRING_TO_VECTOR('[1,2,3,4]')) |
+------------------------------------+
| 0000803F000000400000404000008040   |
+------------------------------------+

SELECT VECTOR_TO_STRING(0x0000803F000000400000404000008040);
+------------------------------------------------------+
| VECTOR_TO_STRING(0x0000803F000000400000404000008040) |
+------------------------------------------------------+
| [1.00000e+00,2.00000e+00,3.00000e+00,4.00000e+00]    |
+------------------------------------------------------+

Exemplos relacionados

CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

ALTER TABLE t1 ADD COLUMN v1 VECTOR(4);

INSERT INTO t1 VALUES (1, STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]')) ON DUPLICATE KEY UPDATE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

UPDATE t1 SET v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]') WHERE id = 1;

DELETE FROM t1 WHERE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

Usar índices vetoriais

No PolarDB, crie um índice vetorial definindo uma string formatada especificamente no COMMENT de uma coluna.

Pré-requisitos

Antes de usar um índice vetorial, conclua a etapa Adicionar um nó IMCI somente leitura e crie um índice colunar clusterizado para a coluna ou para toda a tabela. Apenas nós somente leitura do índice colunar clusterizado podem construir índices vetoriais para dar suporte à busca vetorial.

COMMENT 'imci_vector_index=vector_index_algorithm(index_parameter_list) [other notes]'

-- Option 1: Enable the clustered columnar index for the entire table, and then define a vector index on column v1
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    v1 VECTOR(4) COMMENT 'imci_vector_index=HNSW(metric=COSINE, max_degree=16)'
) COMMENT 'COLUMNAR=1';

-- Option 2: Enable the clustered columnar index and a vector index only for column v1
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    description TEXT,
    v1 VECTOR(4) COMMENT 'COLUMNAR=1, imci_vector_index=HNSW(metric=COSINE)'
);

-- Assume that the existing table is t1
CREATE TABLE t1 (
    id int auto_increment PRIMARY KEY,
    v1 vector(4)
);

-- Option 1: Add a table-level clustered columnar index and modify the comment of the VECTOR column to specify the vector index algorithm and parameters
ALTER TABLE t1 comment "COLUMNAR=1", MODIFY COLUMN v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";

-- Option 2: Create a clustered columnar index only for column v1. When the clustered columnar index is initialized, a vector index is automatically created based on the comment of column v1
ALTER TABLE t1 MODIFY COLUMN v1 vector(4) COMMENT "COLUMNAR=1 imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";

Consultas vetoriais

SELECT VECTOR_TO_STRING(v1) FROM t1;

DISTANCE(vector1, vector2, '<metric>')

SELECT DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') FROM t1;

-- Find the 10 records most similar to the target
SELECT id, VECTOR_TO_STRING(v1) FROM t1
ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[...]'), 'COSINE') LIMIT 10;

SELECT id, VECTOR_TO_STRING(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') LIMIT 1;

Consultas vetoriais com predicados

Colunas adicionais podem ser usadas como predicados para filtrar resultados de consultas vetoriais. Por exemplo:

SELECT * FROM t1 WHERE id < 10 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2, 2.3, 3.4, 4.5]'), 'COSINE') LIMIT 2;

Ao executar consultas vetoriais usando instruções SQL que contêm predicados, ajuste os valores dos parâmetros relacionados para controlar a ordem do recall do índice vetorial e da filtragem por predicado.

Métodos de execução

A busca vetorial geralmente é acompanhada por filtragem em outros atributos. O otimizador escolhe inteligentemente uma estratégia de execução com base na seletividade das condições de filtro:

• Prefilter: Quando as condições de filtro reduzem drasticamente a quantidade de dados (por exemplo, quando o número de linhas correspondentes é menor que imci_vector_search_prefilter_rows, padrão: 10000), o sistema primeiro filtra a tabela inteira usando o predicado para obter os registros correspondentes, depois ordena esses registros e, finalmente, retorna o número de registros especificado pelo LIMIT em ordem.

• Postfilter: Adequado quando a seletividade das condições de filtro é baixa (por exemplo, quando a taxa de correspondência é superior a imci_vector_search_filter_pct, padrão: 20%). Nesse caso, o sistema usa primeiro o índice vetorial para recall e, em seguida, aplica o filtro de predicado aos resultados recuperados. Se o número de resultados após a filtragem for menor que o número especificado pelo LIMIT, o processo é repetido.

• Inline filter: Caso o otimizador não escolha prefilter ou postfilter, ele usa o método inline filter. O sistema filtra primeiro a tabela inteira usando o predicado e constrói um filtro bitmap com base nos IDs de linha dos registros correspondentes. Em seguida, realiza o recall usando o índice vetorial. Durante a busca no índice vetorial, o sistema usa o filtro bitmap para triar os resultados, garantindo que os registros mais similares retornados atendam às condições do predicado.

Otimização de execução adaptativa

Como o otimizador pode estimar incorretamente o número de linhas correspondentes à filtragem por predicado, o método de execução selecionado pode não ser o ideal. Por isso, a execução adaptativa é usada para alternar dinamicamente o método de execução com base no número real de linhas correspondentes durante a execução.

Quando um inline filter é usado para executar uma consulta vetorial que contém um predicado, se o número real de registros correspondentes após a filtragem da tabela inteira for menor que imci_vector_search_prefilter_rows, o método de execução é alternado dinamicamente para prefilter.

Otimização de partição

Consultas vetoriais geralmente contêm predicados como IDs de locatário ou tags. Para tais consultas, utilize o método de particionamento LIST DEFAULT HASH para criar partições LIST separadas para locatários ou tags com grandes volumes de dados e crie partições DEFAULT HASH para outros locatários ou tags. O otimizador consegue identificar essas consultas e, com base no resultado da poda de partições, escolher postfilter para consultas vetoriais de grandes locatários ou tags, e escolher prefilter ou inline filter para consultas vetoriais de outros locatários, garantindo que o método de execução ideal seja selecionado para locatários ou tags de diferentes tamanhos.

Descrição dos parâmetros

Monitorar status do índice vetorial

A construção de dados do índice vetorial e o avanço do snapshot do índice colunar clusterizado são tarefas em segundo plano distintas. Com gravações contínuas, a posição do snapshot do índice vetorial pode ficar atrasada em relação ao snapshot de dados do índice colunar clusterizado. Antes de realizar uma busca vetorial, confirme se o índice vetorial está disponível. As visualizações do sistema mostram o status do índice vetorial, incluindo a posição do snapshot do índice vetorial e o status dos índices vetoriais nas colunas vetoriais.

Exemplo

1. Para garantir que o índice vetorial possa ser construído corretamente com uma pequena quantidade de dados no exemplo a seguir, acesse o console do PolarDB e defina o valor imci_vector_index_dump_rows_threshold como 1.

2. Crie uma tabela de teste e insira dados:

   CREATE TABLE t1 (
       id int auto_increment PRIMARY KEY,
       v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)"
   ) comment "COLUMNAR=1";
   
   INSERT INTO t1 VALUES(1, STRING_TO_VECTOR('[1.1,1.2,1.3,1.4]')), (2, STRING_TO_VECTOR('[2,2.2,2.4,2.6]'));

3. Verifique o status do snapshot do índice e o status do índice vetorial:

   SELECT schema_name,table_name,row_id FROM information_schema.imci_indexes;
   +-------------+------------+--------+
   | schema_name | table_name | row_id |
   +-------------+------------+--------+
   | test        | t1         |      2 |
   +-------------+------------+--------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           2 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       2 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

4. Em seguida, execute a seguinte gravação:

   INSERT INTO t1 VALUES(3, STRING_TO_VECTOR("[8.8,8.88,8.888,8.8888]"));

   Observe que, nos resultados da consulta de INFORMATION_SCHEMA.IMCI_VECTOR_INDEX_STATS, o valor do campo VECTORS é 3 (aumento de 1), o que indica que os dados inseridos pela instrução INSERT anterior foram gravados no índice vetorial pela tarefa em segundo plano:

   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

5. Reinicie o nó somente leitura do índice colunar clusterizado e verifique o status do índice:

   Importante

   Reiniciar o nó somente leitura do índice colunar clusterizado torna o nó indisponível por um curto período.

   SELECT schema_name,table_name,row_id,state FROM information_schema.imci_indexes;
   +-------------+------------+--------+-----------+
   | schema_name | table_name | row_id | state     |
   +-------------+------------+--------+-----------+
   | test        | t1         |      3 | COMMITTED |
   +-------------+------------+--------+-----------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           3 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       0 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   Note que, na visualização do sistema IMCI_VECTOR_INDEX_STATS, VECTORS é 0, enquanto a posição do snapshot do índice vetorial é 3. Use o plano de execução para confirmar a disponibilidade do índice vetorial e verifique novamente o status do índice vetorial após executar uma consulta aproximada:

   SET cost_threshold_for_imci = 0;
   
   EXPLAIN SELECT * FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   | ID | Operator              | Name | E-Rows | E-Cost | Extra Info                                                                            |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   |  1 | Select Statement      |      |        |        | IMCI Execution Plan (max_dop = 4, max_query_mem = 858993459)                          |
   |  2 | +-Compute Scalar      |      |        |        |                                                                                       |
   |  3 |   +-Limit             |      |        |        | Offset=0 Limit=1                                                                      |
   |  4 |     +-Sort            |      |        |        | Sort Key: VECTOR_DISTANCE(t1.v1,"[1.200000,2.300000,3.400000,4.500000]","COSINE") ASC |
   |  5 |       +-Vector Search | t1   |        |        |                                                                                       |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   5 rows in set (0.00 sec)
   
   SELECT id, vector_to_string(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+---------------------------------------------------+
   | id | vector_to_string(v1)                              |
   +----+---------------------------------------------------+
   |  2 | [2.00000e+00,2.20000e+00,2.40000e+00,2.60000e+00] |
   +----+---------------------------------------------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   É possível observar que, após a execução da consulta aproximada, o índice vetorial é carregado na memória e o número de vetores volta a ser 3.

Perguntas frequentes