Elasticsearch:Recursos por versão

Versão 9.3

Novos recursos open source:

• O Agent Builder está geralmente disponível (GA). Interaja com seus dados do Elasticsearch no Kibana por meio de conversas, crie aplicações de perguntas e respostas (Q&A) orientadas por IA e utilize capacidades prontas para uso, como agentes integrados.

• A extensão Elastic Inference Service (EIS) suporta modelos Jina AI, expandindo o ecossistema de modelos de inferência.

• O DiskBBQ permite buscar vetores quantizados diretamente do disco sem carregar vetores completos na memória heap. Ele atinge latência inferior a 20 ms com apenas 100 MB de memória e suporta aceleração por GPU NVIDIA para processamento de vetores.

• O algoritmo de busca vetorial filtrada ACORN integra a lógica de filtragem na travessia do grafo HNSW, melhorando a velocidade de busca filtrada em até 5 vezes sem afetar a precisão.

• Construído sobre o Lucene 10, que melhora ainda mais as taxas de compressão de índice e a eficiência de recuperação de índices invertidos.

• O LOOKUP JOIN está GA. Ele suporta junções entre índices dentro do pipeline de consulta ES|QL e estende-se a correspondência de múltiplos campos, cálculos de expressão e execução em clusters remotos.

• O desempenho de consultas ES|QL para dados de séries temporais é significativamente otimizado, com latência reduzida em até 5 vezes. Novos comandos de agregação de séries temporais incluem RATE, *_OVER_TIME, TBUCKET e TS.

• O Inline Stats agora suporta lógica de múltiplos estágios, permitindo realizar agregações no meio do pipeline com o comando stats, mantendo os dados detalhados no nível de linha.

• Otimiza a coleta de lixo (GC) para flutuações de memória em cenários de escrita de alta concorrência, o que melhora a estabilidade do sistema.

O Alibaba Cloud Elasticsearch 9.3 introduz atualizações significativas. Para IA, o Agent Builder permite criar aplicações de Q&A no Kibana, e o service de inferência EIS adiciona suporte a modelos Jina AI. Para busca vetorial, DiskBBQ e ACORN reduzem substancialmente o uso de memória e aumentam o desempenho de busca filtrada, com suporte adicional para aceleração por GPU. Para consulta e análise, o ES|QL ganha LOOKUP JOIN para consultas entre índices, Inline Stats para agregações de múltiplos estágios e otimizações de séries temporais que reduzem a latência em até 5x. O mecanismo subjacente atualiza para o Lucene 10, melhorando a estabilidade do GC para cargas de trabalho de alta concorrência.

Para mais informações sobre as alterações, consulte Novidades da versão 9.x.

Versão 8.17

Novos recursos open source:

• O campo dense_vector introduz a Better Binary Quantization (BBQ), um tipo de quantização que comprime índices vetoriais em 32x e reduz significativamente o uso de memória.

• A Inference API está geralmente disponível (GA). Para mais informações, consulte APIs de Inferência.

• O recurso Reciprocal Rank Fusion (RRF) está GA. Para mais informações, consulte Reciprocal rank fusion.

• O modo de índice logsdb está GA. Este modo reduz o armazenamento de índice de logs em aproximadamente 3x. Para mais informações, consulte Logs data stream.

• Introduz o modelo integrado Elastic Rerank. Para mais informações, consulte Elastic Rerank.

• O codec best_compression agora usa zstd, reduzindo o armazenamento em cerca de 12% e melhorando o throughput de escrita em 14%.

• O ES|QL é otimizado com vários recursos, incluindo suporte para busca de texto completo. Para mais informações, consulte ES|QL.

A edição aprimorada baseada no Elasticsearch 8.17 permite criar aplicações de busca orientada por IA com um service de modelo integrado e suporta qualquer service externo de modelo de IA. A Better Binary Quantization (BBQ) reduz os custos de memória em mais de 10x.

Para mais informações sobre as alterações, consulte Novidades da versão 8.17 e Novidades da versão 8.16.

Versão 8.15

Novos recursos open source:

• Os campos de índice vetorial são otimizados. Para mais informações, consulte dense-vector.

  • O tipo int8_hnsw substitui o hnsw como padrão, com a quantização int8 habilitada por padrão.

  • Suporta quantização int4, reduzindo o uso de memória em até 8x.

  • Adiciona o tipo de vetor bit.

• Usa instruções SIMD para acelerar o desempenho de mesclagem de índices quantizados int8 em aarch64 em aproximadamente 3x.

• Adiciona uma fase de reclassificação, onde o text_similarity_reranker pode usar um modelo de rerank. Para mais informações, consulte text-similarity-reranker-retriever.

• Adiciona a sintaxe de consulta retriever para suportar recall multicanal. Para mais informações, consulte retriever.

• Adiciona o tipo de campo semantic_text para busca semântica aprimorada. Para mais informações, consulte semantic-text.

• Consultas esparsas usam a sintaxe sparse_vector em vez de text_expansion. Para mais informações, consulte query-dsl-sparse-vector-query.

• A API de regras de consulta está GA. Para mais informações, consulte query-rules-apis.

• A Classificação de Índice suporta campos aninhados. Para mais informações, consulte index-modules-index-sorting.

• Adiciona o modo de índice eficiente logsdb para cenários de log. Para mais informações, consulte logs-data-stream.

• Atualiza para o Lucene 9.11, melhorando a eficiência de memória e o desempenho de consulta. Para mais informações, consulte apache-lucenetm-9110-available.

Para mais informações sobre as alterações, consulte Novidades da versão 8.15 e Novidades da versão 8.14.

Versão 8.13

Novos recursos open source:

• A dimensão máxima do vetor aumenta para 4.096. Para mais informações, consulte Vetor denso de 4096 dimensões.

• Índices vetoriais suportam quantização escalar, reduzindo o uso de memória do índice vetorial em quase 75%. Para mais informações, consulte scalar-quantization-in-lucene.

• Suporta o tipo sparse_vector para vetores esparsos. Para mais informações, consulte Sparse vector.

• Suporta consultas paralelas em um único shard. Para mais informações, consulte Paralelização de consultas.

• Campos vetoriais agora suportam o tipo aninhado, permitindo dividir um documento em passagens e criar índices vetoriais para cada uma. Para mais informações, consulte Múltiplos resultados do mesmo documento com vetores aninhados.

• Adiciona o recurso Learning To Rank, que suporta reclassificação de resultados durante a fase de rescore. Para mais informações, consulte Learning To Rank.

• Suporta a nova API de inferência para integração com services externos de modelos. Para mais informações, consulte APIs de inferência.

• Usa SIMD para melhorar o desempenho de consultas vetoriais. Para mais informações, consulte Acelerando a busca vetorial com instruções SIMD.

Para mais informações sobre as alterações, consulte Novidades da versão 8.13.

Versão 8.9

Novos recursos open source:

• Suporta classificação híbrida de resultados de recall de texto e vetor. Para mais informações, consulte Reciprocal rank fusion (RRF).

• Aumenta as dimensões máximas do vetor para 2.048. Para mais informações, consulte Aumento do número máximo de dimensões de vetor para 2048.

• Melhora o desempenho da busca por força bruta. Para mais informações, consulte Melhoria na velocidade de busca vetorial por força bruta.

• A busca k-NN suporta consulta simultânea em múltiplos campos. Para mais informações, consulte Permissão de mais de uma cláusula de busca KNN.

• Fornece o modelo integrado ELSER. Para mais informações, consulte Integração de inferência ELSER.

• Oferece suporte estável para agendamento e gerenciamento distribuídos de modelos NLP. Para mais informações, consulte Disponibilização geral da inferência nativa.

• Melhora o desempenho de escrita para documentos com chaves primárias. Para mais informações, consulte Otimização de chave primária.

• Melhora o desempenho de consulta para campos de palavra-chave constante. Para mais informações, consulte Ignorar shards ao consultar campos de palavra-chave constante.

• Oferece suporte estável para Time Series Data Streams (TSDS) e o recurso de downsampling. Para mais informações, consulte TSDS e Downsample.

• Otimiza a memória do documento source removendo o uso de ThreadLocal. Para mais informações, consulte Remoção de usos do LeafReader descontinuado.

Para mais informações sobre as alterações, consulte Novidades da versão 8.9.

Versão 8.5

Novos recursos open source:

• Adiciona busca de similaridade vetorial baseada no algoritmo HNSW. Para mais informações, consulte Busca k-nearest neighbor (kNN).

• Adiciona o recurso Time Series Data Streams (TSDS). Para mais informações, consulte Time series data stream (TSDS).

• Adiciona consultas Geo grid. Para mais informações, consulte Geo grid query.

• Simplifica as configurações de segurança. Para mais informações, consulte Iniciar o Elastic Stack com segurança habilitada automaticamente.

• Melhora o algoritmo de compressão do Lucene para reduzir o tamanho do índice.

• Aprimora o desempenho de consultas de intervalo.

• Suporta o tipo de campo runtime lookup. Para mais informações, consulte lookup-runtime-fields.

• Implementa consultas de agregação de amostragem aleatória. Para mais informações, consulte Random sampler aggregation.

• Reduz o consumo de memória heap nos nós mestre e de dados.

• Remove o mapeamento _type. No entanto, a versão 8.x é compatível com requisições da versão 7.x. Para mais informações sobre compatibilidade, consulte rest-api-compatibility.

• Fornece proteção de índice. Por padrão, o usuário elastic só pode ler índices integrados do Elasticsearch.

Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 8.5.

Versão 7.16

Novos recursos open source:

• Suporta consultas SQL para busca entre clusters.

• O pipeline de ingestão suporta políticas de enriquecimento do tipo range.

• Otimiza o cache para melhorar o desempenho de consulta.

• Adiciona e remove índices de um Data Stream.

• Adiciona informações de UUID e nome do cluster aos logs de auditoria.

Para mais informações sobre as alterações, consulte alterações disruptivas na versão 7.16.

Versão 7.10

Novos recursos open source:

• Melhora a compressão de campos armazenados para reduzir custos de armazenamento.

• Aprimora a segurança do Elasticsearch com a Event Query Language (EQL).

• O valor padrão de search.max_buckets aumenta de 10.000 para 65.535.

• Adiciona suporte para consultas sem distinção entre maiúsculas e minúsculas. Habilite esse recurso definindo o parâmetro opcional case_insensitive como true.

Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 7.10.

Versão 7.7

Novos recursos open source:

• Novos índices agora têm como padrão um shard em vez de cinco.

• Remove tipos de mapeamento. Não é mais necessário especifique um tipo ao definir mapeamentos e modelos de índice. Para mais informações, consulte Remoção de tipos de mapeamento.

• Uma requisição de busca retorna no máximo 10.000 documentos por padrão. Se esse limite for excedido, apenas 10.000 documentos serão retornados. Para mais informações, consulte track_total_hits 10000 default.

• Um único nó de dados pode conter no máximo 1.000 shards por padrão. Configure esse limite usando o parâmetro cluster.max_shards_per_node. Para mais informações, consulte Limite de Shards do Cluster.

• O número total de contextos de scroll é limitado a 500 por padrão. Configure esse limite usando o parâmetro search.max_open_scroll_context. Para mais informações, consulte Contexto de Busca Scroll.

• O disjuntor pai agora usa memória real (indices.breaker.total.use_real_memory), padronizando para 95% da memória heap da JVM para maximizar a disponibilidade e prevenir erros OutOfMemory. Para mais informações, consulte Disjuntor.

• Remove o suporte ao campo _all para melhorar o desempenho de busca.

• Adiciona Consultas de Intervalos, que encontram documentos com base na ordem e proximidade dos termos.

• Quando a auditoria está habilitada, os eventos de auditoria são gravados no arquivo <clustername>_audit.json no sistema de arquivos do host. O armazenamento de eventos de auditoria em um índice não é suportado. Para mais informações, consulte Habilitar logging de auditoria.

Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 7.0.

Versão 6.x (6.7 e 6.8)

Novos recursos open source:

• Um índice pode ter apenas um tipo. O tipo _doc é recomendado.

• A partir da versão 6.6.0, esta versão adiciona gerenciamento de ciclo de vida de índice (ILM) para reduzir custos de manutenção.

• Adiciona o recurso de Resumo de dados históricos para resumir dados históricos.

• A partir da versão 6.3, o X-Pack SQL é suportado, permitindo converter instruções SQL em consultas DSL e reduzindo a curva de aprendizado para DSL.

• Adiciona mais funções de agregação, incluindo Composite, Parent e Weighted Avg.

Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 6.0.

Versão 5.x (5.6)

Novos recursos open source:

• Um índice pode ter múltiplos tipos, e você pode definir tipos personalizados.

• O tipo de campo string é descontinuado em favor de text ou keyword.

• O valor do parâmetro de mapeamento de índice muda de not_analyzed ou no para true ou false.

• O tipo de dado float é usado em vez de double para reduzir custos de armazenamento.

• O Java High Level REST Client substitui o TransportClient.

Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 5.0.