Elasticsearch:Kernel version release notes

Versão 1.7.0 do kernel

Plug-ins

• O plug-in aliyun-timestream está disponível. Use-o para criar, modificar, consultar e excluir índices de séries temporais, simplificando o gerenciamento de dados temporais. Para mais informações, consulte Visão geral do aliyun-timestream.

• Instruções na Prometheus Querying Language (PromQL) permitem consultar dados armazenados no Elasticsearch. Para mais informações, consulte Integrar o Elasticsearch com Prometheus e Grafana com base no aliyun-timestream para implementar monitoramento integrado.

Versão 1.12.0 do kernel

Pesquisa

• O plug-in analysis-dynamic-synonym está disponível.

• Balanceamento de shards primários suportado.

• Comprimentos dos valores de parâmetros em consultas wildcard e prefix agora têm limites definidos.

• Consultas complexas — incluindo termos e prefixos em campos keyword — foram otimizadas com doc_values. O desempenho de consulta melhora em até 80% em cenários com baixa taxa de acerto.

• Consultas numéricas de termo e termos foram otimizadas com doc_values. O desempenho aumenta em até 80% quando a taxa de acerto é baixa.

• O desempenho de consultas de termo e termos em árvores BKD melhorou 30% com uma estratégia de carregamento sob demanda.

Correções de bugs

• Aprimoramento no gerenciamento de tarefas na camada de armazenamento resolveu travamentos ocasionais na comunicação baseada em RPC.

• Melhorias no processo de replicação de dados evitam o erro "fail engine" em nós de réplica.

• Ajustes na promoção de shards de réplica previnem inconsistências de índice entre shards primários e de réplica.

Versão 1.10.0 do kernel

Armazenamento/Snapshot

• Componente LuceneVerifyIndexOutput otimizado para acelerar a restauração de índices. Para detalhes, consulte ES pull #96975.

Coordenação de cluster

• Tarefas persistentes não referenciam mais o ClusterState. Em clusters de grande escala, nós mestres dedicados podem acumular alto uso de memória. Para evitar timeouts de eleição de líder nesses ambientes, o valor padrão de cluster.election.initial_timeout mudou de 100 milissegundos para 1 segundo. Para detalhes, consulte ES pull #90724.

Pesquisa

• Timeout de consulta ponta a ponta adicionado para controlar a duração total da consulta. Quando ocorre um timeout, resultados parciais são retornados em vez de falhar a solicitação.

• Campos adicionais incluídos nos logs de acesso.

Correções de bugs

• Resolução de questão em que o arquivo de índice de atualização DV referenciado pelo Lucene Merge era excluído por operações de flush concorrentes. Para detalhes, consulte Lucene pull #13017.

Versão 1.9.0 do kernel

Pesquisa

Reconstrução do framework de consulta concorrente para clusters da Kernel-enhanced Edition, com as seguintes melhorias:

• Reutilização da memória heap da JVM, reduzindo a sobrecarga de garbage collection (GC) e melhorando a utilização de recursos.

• Redução na duração da fase de fetch para recuperação de texto bruto. Com size definido como 10.000, a fase de fetch fica até 6–10 vezes mais rápida e a duração total da consulta cai em 50%.

• Suporte aos seguintes tipos de agregação em consultas concorrentes: percentile, percentile ranks, sampler, diversified sampler, significant text, geo_distance, geohash_grid, geotile_grid, geo_bounds, geo_centroid e scripted_metric.

• Adição de campos como traceId e duração de consulta aos logs de acesso ponta a ponta. Use o traceId para rastrear a execução completa da consulta entre nós.

• Otimização da estrutura personalizada de índice e do parsing de mapeamento para texto bruto, dobrando o desempenho de gravação desse tipo de dado.

Cache

Em cenários com poucas consultas primárias, mas muitas subconsultas, o cache não era aplicado às subconsultas. Para ativar o cache nessas situações, execute a seguinte chamada de API:

PUT _cluster/settings
{
  "persistent": {
    "search.query_cache_get_wait_lock_enable": "true",
    "search.query_cache_skip_factor": "200000000"
  }
}

k-NN

• Resolução de inconsistência de dados entre shards primários e de réplica em cenários de consulta k-NN.

Correções de bugs

• Correção de problema em que a execução de GET _cat/node falhava após a migração de um shard em um nó durante uma atualização blue-green.

Versão 1.8.0 do kernel

Plug-ins

O plug-in aliyun-timestream está disponível para o Elasticsearch V7.10.0. Ele aprimora o desempenho de armazenamento e consulta para dados de séries temporais e oferece suporte a:

• Criação, modificação, consulta e exclusão de índices de séries temporais

• Execução de instruções PromQL para consultar dados armazenados no Elasticsearch

• Gravação de dados em índices de séries temporais usando o protocolo de linha do InfluxDB

Para mais informações, consulte Visão geral do aliyun-timestream, Integrar o Elasticsearch com Prometheus e Grafana com base no aliyun-timestream para implementar monitoramento integrado e Integrar o aliyun-timestream com o protocolo de linha do InfluxDB.

Versão 1.7.0 do kernel

Pesquisa

O plug-in analytic-search está disponível. Ele melhora significativamente o desempenho de consultas em cenários de log:

• Otimização das políticas de mesclagem de índices e de agregação de histograma de data. Consultas incondicionais ou de condição única — como as da página Discover do Kibana — estão mais de 6 vezes mais rápidas em cenários de consulta de logs. Em ambientes que ingerem mais de 1 TB de dados por dia, o tempo de consulta cai de minutos para 5 segundos ou menos.

• Recuperação simultânea de dados suportada em consultas concorrentes, melhorando a utilização de recursos e reduzindo o tempo médio de recuperação em 50% para cenários de log.

• Mesclagem contínua de pequenos segmentos somente leitura antes do force merge, aumentando o desempenho de consulta em 20%.

Melhorias de desempenho

• Compactação de solicitações de escrita entre nós clientes e nós de dados com LZ4. Isso reduz a sobrecarga de largura de banda de rede em 30%.

• Execução paralela do force merge entre shards, diminuindo a duração total da operação.

• Compactação de blocos grandes de dados em texto bruto e otimização dos parâmetros de compressão zstd, reduzindo o tamanho do texto bruto em 8%. Suporte ao método Patched Frame of Reference (PFOR) para postings do Lucene, diminuindo o tamanho do índice em 3% adicionais.

Correções de bugs

• Correção de problema em que o recurso source_reuse_doc_values do plug-in aliyun-codec não suportava campos cujos nomes continham pontos (.).

Versão 1.6.0 do kernel

Compressão

• Adição do recurso source_reuse_doc_values ao plug-in aliyun-codec para reduzir ainda mais o tamanho dos índices e os custos de armazenamento. Para mais informações, consulte Usar o plug-in aliyun-codec.

Throttling

• Atualização do plug-in aliyun-qos para a V2.0, adicionando tipos e parâmetros de throttling mais granulares. Para mais informações, consulte Usar o plug-in aliyun-qos.

Versão 1.5.0 do kernel

Compressão

• O plug-in aliyun-codec está disponível para aprimorar a compressão no nível do kernel para clusters. Para mais informações, consulte Usar o plug-in aliyun-codec.

Correções de bugs

• Correção de bug relacionado ao tipo de campo search_as_you_type. Para detalhes, consulte GitHub issue #65319.

Versão 1.4.0 do kernel

Pesquisa

• Atualização do plug-in aliyun-knn com melhor desempenho de escrita, suporte a consultas de script e pesquisa vetorial otimizada por meio de melhorias no nível de hardware.

Throttling

• Otimização do plug-in aliyun-qos para throttling no nível do cluster. O tráfego é distribuído automaticamente entre os nós sem necessidade de conhecimento sobre a topologia do cluster ou carga dos nós, aumentando a usabilidade e a estabilidade.

Versão 1.3.0 do kernel

Pesquisa

• O isolamento de consultas lentas está disponível para limitar o impacto de consultas anômalas na estabilidade do cluster.

• O plug-in gig está disponível. Ele realiza um switchover em segundos quando ocorre uma exceção em um nó do cluster, prevenindo instabilidade nas consultas causada por nós anômalos.

  Para clusters Standard Edition do Elasticsearch V7.10.0, o plug-in gig está integrado ao plug-in aliyun-qos, instalado por padrão.

Replicação

• A replicação física está disponível para melhorar o desempenho de escrita em índices com shards de réplica.

Séries temporais

• O recurso de pruning está disponível para índices de séries temporais visando melhorar o desempenho de consultas.

Observabilidade

• Visualize os logs de acesso do cluster. Os logs incluem campos como Time, Node IP e Content. Use esses logs para solucionar problemas e analisar solicitações.

Gerenciamento de cluster

• Desempenho de agendamento de nós mestres dedicados melhorado em 10 vezes, permitindo que cada nó mestre dedicado agende mais shards.

Versão 1.3.0 do kernel

Pesquisa

• O isolamento de consultas lentas está disponível para limitar o impacto de consultas anômalas na estabilidade do cluster.

• O plug-in gig está disponível. Ele executa um switchover em segundos quando ocorre uma exceção em um nó do cluster, evitando instabilidade nas consultas provocada por nós anômalos.

Versão 1.2.0 do kernel

Replicação

• A replicação física está disponível para melhorar o desempenho de escrita em índices com shards de réplica.

Séries temporais

• O recurso de pruning está disponível para índices de séries temporais visando melhorar o desempenho de consultas.

Desempenho de escrita

• Otimização da deduplicação de dados baseada em chave primária durante consultas, aumentando o desempenho de escrita para documentos com chaves primárias em 10%.

Armazenamento

• Suporte a transdutores de estado finito (FSTs) que não ocupam memória heap da JVM. Um único nó pode armazenar até 20 TiB de dados de índice.

Versão 1.0.2 do kernel

Observabilidade

• Visualize os logs de acesso do cluster. Os logs incluem campos como Time, Node IP e Content. Use esses logs para solucionar problemas e analisar solicitações.

Versão 1.0.1 do kernel

Circuit breaking

As políticas de circuit breaking para JVMs são configuráveis. Quando o uso de memória heap da JVM atinge 95%, o cluster rejeita solicitações recebidas para proteger a estabilidade. Configure os seguintes parâmetros:

Versão 0.3.0 do kernel

Gerenciamento de cluster

• Desempenho de agendamento de nós mestres dedicados melhorado em 10 vezes, permitindo que cada nó mestre dedicado agende mais shards.

Desempenho de escrita

• Desempenho de escrita aumentado em 10% e sobrecarga de flush do translog reduzida.