Elasticsearch:Recursos por versão

Versão 9.3

Novos recursos open source:

• O Agent Builder está disponível geralmente (GA). No Kibana, interaja com os dados do Elasticsearch por meio de conversas e crie aplicações de chat com IA. Agentes integrados oferecem capacidades prontas para uso.

• O Elastic Inference Service (EIS) foi expandido para suportar modelos Jina AI, enriquecendo ainda mais o ecossistema de modelos do service de inferência.

• O DiskBBQ busca vetores quantizados diretamente do disco, sem carregar vetores completos na memória. A latência pode ser inferior a 20 ms com apenas 100 MB de memória. Também há suporte para aceleração via GPU NVIDIA no processamento vetorizado.

• O algoritmo de busca vetorial filtrada ACORN integra a lógica de filtragem à travessia do grafo HNSW. A velocidade de busca filtrada aumenta 5 vezes sem perda de precisão.

• Construído sobre o Lucene 10, o que melhora ainda mais a taxa de compressão de índices e a eficiência da recuperação de índices invertidos.

• O LOOKUP JOIN está disponível geralmente (GA). Execute operações de join entre índices diretamente no pipeline de consulta ES|QL. Há suporte também para correspondência de múltiplos campos, operações de expressão e execução em clusters remotos.

• O desempenho de consultas ES|QL para dados de séries temporais foi significativamente otimizado, com redução de latência de até 5 vezes. Novos comandos de agregação para séries temporais incluem RATE, *_OVER_TIME, TBUCKET e TS.

• O Inline Stats suporta lógica de múltiplos estágios. Utilize o comando stats para agregar dados no meio do pipeline, mantendo os detalhes no nível de linha.

• A coleta de lixo (GC) foi otimizada para reduzir a oscilação de memória em cenários de escrita com alta concorrência, melhorando a estabilidade do sistema. O Alibaba Cloud Elasticsearch lançou sua versão mais recente baseada na 9.3. Para capacidades de IA, o Agent Builder permite criar aplicações de chat com IA no Kibana, e o service de inferência EIS adicionou suporte a modelos Jina AI. Para busca vetorial, o DiskBBQ e o algoritmo ACORN reduzem drasticamente o uso de memória e melhoram o desempenho de buscas filtradas, com suporte a aceleração por GPU. Para consulta e análise, o ES|QL adicionou LOOKUP JOIN para associação entre índices, Inline Stats para agregação em múltiplos estágios e otimização de consultas de séries temporais que reduz a latência em até 5 vezes. O mecanismo subjacente foi atualizado para o Lucene 10, e a estabilidade do GC foi aprimorada em cenários de alta concorrência.

Para mais informações sobre as alterações, consulte Novidades da versão 9.x.

Versão 8.17

Novos recursos open source:

• O dense_vector introduz o tipo de quantização Better Binary Quantization (BBQ). Índices vetoriais alcançam compressão de memória de 32x, reduzindo significativamente a capacidade de memória necessária.

• A Inference API está disponível geralmente (GA). Para mais informações, consulte Inference APIs.

• A fusão de classificação recíproca (RRF) está disponível geralmente (GA). Para mais informações, consulte Reciprocal rank fusion.

• O modo de índice logsdb está disponível geralmente (GA). A indexação de logs utiliza cerca de três vezes menos espaço de armazenamento. Para mais informações, consulte Logs data stream.

• Introdução do modelo integrado Elastic Rerank. Para mais informações, consulte Elastic Rerank.

• O codec best_compression utiliza zstd, reduzindo o armazenamento em cerca de 12% e melhorando o throughput de escrita em 14%.

• Diversos recursos do ES|QL foram otimizados, incluindo suporte a busca de texto completo. Para mais informações, consulte ES|QL. O Alibaba Cloud Elasticsearch lançou a edição aprimorada mais recente baseada na versão 8.17. Um service de modelo integrado permite criar aplicações de busca com IA de forma flexível, qualquer service externo de modelo de IA pode ser invocado, e o Better Binary Quantization (BBQ) economiza mais de 10 vezes o custo de memória.

Para mais informações sobre as alterações, consulte Novidades da versão 8.17 e Novidades da versão 8.16.

Versão 8.15

Novos recursos open source:

• Campos de índice vetorial foram otimizados. Para mais informações, consulte dense-vector.

• O tipo int8_hnsw substitui hnsw como tipo padrão, e a quantização int8 é habilitada por padrão.

• Há suporte para quantização int4, o que economiza 8 vezes a capacidade de memória.

• Adicionado o tipo vetorial bit.

• Instruções SIMD aceleram o desempenho de merge de índices quantizados em int8 na arquitetura aarch64. O desempenho de merge melhora cerca de 3 vezes.

• Suporte a uma fase de rerank, permitindo que text_similarity_reranker utilize um modelo de rerank. Para mais informações, consulte text-similarity-reranker-retriever.

• Adicionada a sintaxe de consulta retriever para suportar recall multicanal. Para mais informações, consulte retriever.

• Adicionado o tipo de campo semantic_text para facilitar a busca semântica. Para mais informações, consulte semantic-text.

• Consultas esparsas utilizam a sintaxe sparse_vector em vez de text_expansion. Para mais informações, consulte query-dsl-sparse-vector-query.

• A API de regras de consulta está disponível geralmente (GA). Para mais informações, consulte query-rules-apis.

• O Index Sorting suporta campos aninhados. Para mais informações, consulte index-modules-index-sorting.

• Adicionado o índice eficiente logsdb para cenários de logs. Para mais informações, consulte logs-data-stream.

• O Lucene foi atualizado para a versão 9.11, melhorando a eficiência de memória e o desempenho de consultas. Para mais informações, consulte apache-lucenetm-9110-available. Para mais informações sobre as alterações, consulte Novidades da versão 8.15 e Novidades da versão 8.14.

Versão 8.13

Novos recursos open source:

• As dimensões vetoriais foram aumentadas para 4.096. Para mais informações, consulte Vetor denso de 4096 dimensões.

• Índices vetoriais suportam Scalar Quantization, reduzindo a memória dos índices vetoriais em quase 75%. Para mais informações, consulte scalar-quantization-in-lucene.

• Suporte a vetores esparsos, com a adição do tipo sparse_vector. Para mais informações, consulte Sparse vector.

• Suporte a concorrência de consultas em um único shard. Para mais informações, consulte Paralelização de consultas.

• Campos vetoriais suportam o tipo nested. Divida um documento em passagens e crie índices vetoriais para essas passagens. Para mais informações, consulte Múltiplos resultados do mesmo documento com vetores aninhados.

• Adicionado o Learning To Rank, que suporta reclassificação de resultados na fase de rescore. Para mais informações, consulte Learning To Rank.

• Suporte a uma nova API de inferência, que integra services externos de modelos. Para mais informações, consulte inference APIs.

• O SIMD melhora o desempenho de consultas vetoriais. Para mais informações, consulte Acelerando busca vetorial com instruções SIMD. Para mais informações sobre as alterações, consulte Novidades da versão 8.13.

Versão 8.9

Novos recursos open source:

• Suporte a classificação híbrida de resultados de recall de texto e vetores. Para mais informações, consulte Reciprocal rank fusion (RRF).

• As dimensões máximas de vetores foram aumentadas para 2.048. Para mais informações, consulte Aumento do número máximo de dimensões vetoriais para 2048.

• Melhoria no desempenho de recuperação por força bruta. Para mais informações, consulte Melhoria na velocidade de busca vetorial por força bruta.

• Consultas KNN suportam consulta simultânea em múltiplos campos. Para mais informações, consulte Permissão de mais de uma cláusula de busca KNN.

• O modelo ELSER vem integrado. Para mais informações, consulte Integração de inferência ELSER.

• Suporte estável ao agendamento e gerenciamento distribuído de modelos NLP. Para mais informações, consulte Disponibilidade geral da inferência nativa.

• Melhoria no desempenho de escrita com chaves primárias. Para mais informações, consulte Otimização de chave primária.

• Melhoria no desempenho de consultas para campos constant keyword. Para mais informações, consulte Ignorar shards ao consultar campos constant keyword.

• Suporte estável ao time series data stream (TSDS) e ao Downsample. Para mais informações, consulte TSDS e Downsample.

• Otimização da memória de texto source, com remoção do uso de ThreadLocal. Para mais informações, consulte Remoção do uso do LeafReader descontinuado. Para mais informações sobre as alterações, consulte Novidades da versão 8.9.

Versão 8.5

Novos recursos open source:

• Implementação de busca por similaridade vetorial baseada no algoritmo HNSW. Para mais informações, consulte Busca k-nearest neighbor (kNN).

• Adicionado o recurso de séries temporais (TSDS). Para mais informações, consulte Time series data stream (TSDS).

• Adicionadas consultas geo grid. Para mais informações, consulte Geo grid query.

• Simplificação da configuração de segurança. Para mais informações, consulte Iniciar o Elastic Stack com segurança habilitada automaticamente.

• Melhoria no algoritmo de compressão do Lucene para reduzir o tamanho do índice.

• Aprimoramento no desempenho de consultas de intervalo.

• Suporte ao tipo de campo lookup runtime field. Para mais informações, consulte lookup-runtime-fields.

• Implementação de consultas de agregação random sampler. Para mais informações, consulte Random sampler aggregation.

• Redução no consumo de memória heap em nós master e de dados.

• O campo _type foi removido. No entanto, a versão 8.x mantém compatibilidade com requisições da 7.x. Para mais informações sobre compatibilidade, consulte rest-api-compatibility.

• Proteção de índices fornecida. Por padrão, o usuário elastic só pode ler índices integrados do ES. Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 8.5.

Versão 7.16

Novos recursos open source:

• Suporte a consultas SQL em buscas entre clusters.

• O ingest pipeline suporta políticas enrich do tipo range.

• Cache otimizado para melhorar o desempenho de consultas.

• Possibilidade de adicionar e remover índices de um data stream.

• UUID e nome do cluster adicionados ao log de auditoria. Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 7.16.

Versão 7.10

Novos recursos open source:

• Melhoria na capacidade de compressão para campos armazenados, reduzindo custos de armazenamento.

• Segurança do ES aprimorada com a Event Query Language (EQL).

• Valor padrão de search.max_buckets aumentado de 10.000 para 65.535.

• Suporte a consultas case-insensitive. Para execute uma consulta case-insensitive, defina o parâmetro opcional case_insensitive como true. Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 7.10.

Versão 7.7

Novos recursos open source:

• Ao crie um índice, o número padrão de shards muda de cinco para um.

• Tipos de mapeamento removidos. Não é necessário especifique um tipo ao definir mapeamentos e modelos de índice. Para mais informações, consulte Remoção de tipos de mapeamento.

• Uma requisição de busca retorna no máximo 10.000 documentos por padrão. Se o total exceder esse valor, o ES retorna apenas 10.000 documentos. Para mais informações, consulte track_total_hits 10000 default.

• Um único nó de dados pode conter no máximo 1.000 shards por padrão. Configure esse limite usando o parâmetro cluster.max_shards_per_node. Para mais informações, consulte Limite de shards do cluster.

• O número total de objetos scroll é limitado a 500 por padrão. Configure esse limite usando o parâmetro search.max_open_scroll_context. Para mais informações, consulte Contexto de busca Scroll.

• O circuit breaker pai utiliza a memória realmente disponível como base (indices.breaker.total.use_real_memory). O valor padrão é 95% da memória heap da JVM, maximizando o uso de memória e evitando erros de falta de memória. Para mais informações, consulte Circuit Breaker.

• Suporte ao campo _all descontinuado, melhorando o desempenho de busca.

• Adicionadas as Consultas de Intervalos. Recupere documentos com base na ordem e proximidade de múltiplas strings no texto.

• Ao ative o log de auditoria, os eventos são persistidos no arquivo <clustername>_audit.json no sistema de arquivos do host. Não há suporte para saída em um índice. Para mais informações, consulte Habilitando log de auditoria. Para mais informações sobre as alterações na série 7.x, consulte Alterações disruptivas na versão 7.0.

Versão 6.x (6.7 e 6.8)

Novos recursos open source:

• Um índice pode ter apenas um tipo. Recomendamos o uso de _doc.

• A partir da versão 6.6.0, o gerenciamento de ciclo de vida de índice (ILM) foi adicionado para reduzir custos de manutenção de índices.

• Adicionado o recurso de Consolidação de dados históricos para resumir dados históricos.

• A partir da versão 6.3, há suporte ao X-Pack SQL. Instruções SQL são convertidas para instruções DSL, reduzindo a curva de aprendizado de DSL.

• Funções de agregação enriquecidas. Há suporte às funções Composite, Parent e Weighted Avg. Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 6.0.

Versão 5.x (5.6)

Novos recursos open source:

• Um índice pode ter múltiplos tipos, com suporte a tipos personalizados.

• O tipo de campo string foi removido e substituído por text ou keyword.

• O valor do campo index mudou de not_analyzed ou no para true ou false.

• Uso de float em vez de double para reduzir custos de armazenamento.

• O Java High Level REST Client substitui o cliente de transporte Java legado. Para mais informações sobre as alterações, consulte Alterações disruptivas na versão 5.0.