Elasticsearch:Fonctionnalités par version

Version 9.3

Nouvelles fonctionnalités open source :

• Agent Builder est généralement disponible (GA). Dans Kibana, interagissez avec les données Elasticsearch par le biais de conversations et créez des applications de chat IA. Des agents intégrés fournissent des capacités prêtes à l'emploi.

• Le service Elastic Inference Service (EIS) est étendu pour prendre en charge les modèles Jina AI, enrichissant ainsi l'écosystème de modèles du service d'inférence.

• DiskBBQ recherche des vecteurs quantifiés directement depuis le disque sans charger les vecteurs complets en mémoire. La latence peut être inférieure à 20 ms avec 100 Mo de mémoire. L'accélération GPU NVIDIA pour le traitement vectorisé est également prise en charge.

• L'algorithme de recherche vectorielle filtrée ACORN intègre la logique de filtrage dans la traversée du graphe HNSW. La vitesse de recherche filtrée augmente de 5 fois sans affecter la précision.

• Basé sur Lucene 10, ce qui améliore encore le taux de compression des index et l'efficacité de la récupération des index inversés.

• LOOKUP JOIN est généralement disponible (GA). Exécutez des opérations de jointure inter-index directement dans le pipeline de requête ES|QL. La correspondance multi-champs, les opérations d'expression et l'exécution sur des clusters distants sont également prises en charge.

• Les performances des requêtes ES|QL pour les données de séries temporelles sont considérablement optimisées, et la latence est réduite jusqu'à 5 fois. Les nouvelles commandes d'agrégation de séries temporelles incluent RATE, *_OVER_TIME, TBUCKET et TS.

• Inline Stats prend en charge la logique multi-étapes. Utilisez la commande stats pour agréger les données au milieu du pipeline tout en conservant les détails au niveau des lignes.

• Le garbage collection (GC) est optimisé pour les fluctuations de mémoire dans les scénarios d'écriture à forte concurrence, ce qui améliore la stabilité du système. Alibaba Cloud Elasticsearch publie sa dernière version basée sur la 9,3. Pour les capacités IA, Agent Builder vous permet de créer des applications de chat IA dans Kibana, et le service d'inférence EIS ajoute la prise en charge des modèles Jina AI. Pour la recherche vectorielle, DiskBBQ et l'algorithme ACORN réduisent considérablement l'utilisation de la mémoire et améliorent les performances de recherche filtrée, et l'accélération GPU est prise en charge. Pour les requêtes et l'analyse, ES|QL ajoute LOOKUP JOIN pour l'association inter-index, Inline Stats pour l'agrégation multi-étapes, et une optimisation des requêtes de séries temporelles qui réduit la latence jusqu'à 5 fois. Le moteur sous-jacent est mis à niveau vers Lucene 10, et la stabilité du GC est améliorée dans les scénarios à forte concurrence.

Pour plus d'informations sur les modifications, consultez Nouveautés de la version 9.x.

Version 8.17

Nouvelles fonctionnalités open source :

• dense_vector introduit le type de quantification Better Binary Quantization (BBQ). Les index vectoriels atteignent une compression mémoire de 32x, ce qui réduit considérablement la capacité mémoire requise.

• L'API Inference est généralement disponible (GA). Pour plus d'informations, consultez API Inference.

• La fusion de rang réciproque (RRF) est généralement disponible (GA). Pour plus d'informations, consultez Fusion de rang réciproque.

• Le mode d'index logsdb est généralement disponible (GA). L'indexation des journaux utilise environ trois fois moins d'espace de stockage. Pour plus d'informations, consultez Flux de données de journaux.

• Le modèle intégré Elastic Rerank est introduit. Pour plus d'informations, consultez Elastic Rerank.

• Le codec best_compression utilise zstd, ce qui réduit le stockage d'environ 12 % et améliore le débit d'écriture de 14 %.

• Plusieurs fonctionnalités ES|QL sont optimisées, y compris la prise en charge de la recherche en texte intégral. Pour plus d'informations, consultez ES|QL. Alibaba Cloud Elasticsearch publie la dernière édition améliorée basée sur la version 8.17. Un service de modèle intégré vous permet de créer des applications de recherche IA de manière flexible, n'importe quel service de modèle IA externe peut être appelé, et Better Binary Quantization (BBQ) permet d'économiser plus de 10 fois le coût mémoire.

Pour plus d'informations sur les modifications, consultez Nouveautés de la version 8.17 et Nouveautés de la version 8.16.

Version 8.15

Nouvelles fonctionnalités open source :

• Les champs d'index vectoriel sont optimisés. Pour plus d'informations, consultez dense-vector.

• Le type int8_hnsw remplace hnsw comme type par défaut, et la quantification int8 est activée par défaut.

• La quantification int4 est prise en charge, ce qui permet d'économiser 8 fois la capacité mémoire.

• Le type de vecteur bit est ajouté.

• Les instructions SIMD accélèrent les performances de fusion des index quantifiés int8 sur l'architecture aarch64. Les performances de fusion s'améliorent d'environ 3 fois.

• Une phase de reclassement est prise en charge, et text_similarity_reranker peut utiliser un modèle de reclassement. Pour plus d'informations, consultez text-similarity-reranker-retriever.

• La syntaxe de requête retriever est ajoutée pour prendre en charge le rappel multi-canal. Pour plus d'informations, consultez retriever.

• Le type de champ semantic_text est ajouté pour faciliter la recherche sémantique. Pour plus d'informations, consultez semantic-text.

• Les requêtes éparses utilisent la syntaxe sparse_vector au lieu de text_expansion. Pour plus d'informations, consultez query-dsl-sparse-vector-query.

• L'API query rules est généralement disponible (GA). Pour plus d'informations, consultez query-rules-apis.

• Index Sorting prend en charge les champs imbriqués. Pour plus d'informations, consultez index-modules-index-sorting.

• L'index logsdb efficace pour les scénarios de journaux est ajouté. Pour plus d'informations, consultez logs-data-stream.

• Lucene est mis à niveau vers la version 9.11, ce qui améliore l'efficacité mémoire et les performances des requêtes. Pour plus d'informations, consultez apache-lucenetm-9110-available. Pour plus d'informations sur les modifications, consultez Nouveautés de la version 8.15 et Nouveautés de la version 8.14.

Version 8.13

Nouvelles fonctionnalités open source :

• Les dimensions vectorielles sont augmentées à 4 096. Pour plus d'informations, consultez 4096 dimension dense vector.

• Les index vectoriels prennent en charge Scalar Quantization, ce qui réduit la mémoire des index vectoriels de près de 75 %. Pour plus d'informations, consultez scalar-quantization-in-lucene.

• Les vecteurs épars sont pris en charge, et le type sparse_vector est ajouté. Pour plus d'informations, consultez Sparse vector.

• La concurrence des requêtes sur un seul shard est prise en charge. Pour plus d'informations, consultez Query parallelization.

• Les champs vectoriels prennent en charge le type nested. Divisez un document en passages et créez des index vectoriels pour ces passages. Pour plus d'informations, consultez Multiple results from the same doc with nested vectors.

• Learning To Rank est ajouté, ce qui prend en charge le reclassement des résultats dans la phase rescore. Pour plus d'informations, consultez Learning To Rank.

• Une nouvelle API d'inférence est prise en charge, qui intègre des services de modèles externes. Pour plus d'informations, consultez inference APIs.

• SIMD améliore les performances des requêtes vectorielles. Pour plus d'informations, consultez Accelerating vector search with SIMD instructions. Pour plus d'informations sur les modifications, consultez Nouveautés de la version 8.13.

Version 8.9

Nouvelles fonctionnalités open source :

• Le classement hybride des résultats de rappel de texte et vectoriel est pris en charge. Pour plus d'informations, consultez Reciprocal rank fusion (RRF).

• Les dimensions vectorielles maximales sont augmentées à 2 048. Pour plus d'informations, consultez Increase max number of vector dims to 2048.

• Les performances de récupération par force brute sont améliorées. Pour plus d'informations, consultez Improve brute force vector search speed.

• Les requêtes KNN prennent en charge l'interrogation simultanée de plusieurs champs. Pour plus d'informations, consultez Allow more than one KNN search clause.

• Le modèle ELSER est intégré. Pour plus d'informations, consultez ELSER inference integration.

• La planification et la gestion distribuées des modèles NLP sont prises en charge de manière stable. Pour plus d'informations, consultez Make native inference generally available.

• Les performances d'écriture avec clés primaires sont améliorées. Pour plus d'informations, consultez Primary key optimization.

• Les performances des requêtes pour les champs de mots-clés constants sont améliorées. Pour plus d'informations, consultez Skip shards when querying constant keyword fields.

• Le flux de données de séries temporelles (TSDS) et Downsample sont pris en charge de manière stable. Pour plus d'informations, consultez TSDS et Downsample.

• La mémoire du texte source est optimisée, et l'utilisation de ThreadLocal est supprimée. Pour plus d'informations, consultez Remove uses of deprecated LeafReader. Pour plus d'informations sur les modifications, consultez Nouveautés de la version 8.9.

Version 8.5

Nouvelles fonctionnalités open source :

• La recherche de similarité vectorielle est implémentée sur la base de l'algorithme HNSW. Pour plus d'informations, consultez k-nearest neighbor (kNN) search.

• La fonctionnalité de séries temporelles (TSDS) est ajoutée. Pour plus d'informations, consultez Time series data stream (TSDS).

• Les requêtes Geo grid sont ajoutées. Pour plus d'informations, consultez Geo grid query.

• La configuration de sécurité est simplifiée. Pour plus d'informations, consultez Start the Elastic Stack with security enabled automatically.

• L'algorithme de compression Lucene est amélioré pour réduire la taille des index.

• Les performances des requêtes de plage sont améliorées.

• Le type de champ runtime lookup est pris en charge. Pour plus d'informations, consultez lookup-runtime-fields.

• Les requêtes d'agrégation Random sampler sont implémentées. Pour plus d'informations, consultez Random sampler aggregation.

• La consommation de mémoire heap sur les nœuds master et data est réduite.

• _type est supprimé. Toutefois, la version 8.x reste compatible avec les requêtes 7.x. Pour plus d'informations sur la compatibilité, consultez rest-api-compatibility.

• La protection des index est fournie. Par défaut, l'utilisateur elastic ne peut lire que les index ES intégrés. Pour plus d'informations sur les modifications, consultez Breaking changes in 8,5.

Version 7.16

Nouvelles fonctionnalités open source :

• Les requêtes SQL sont prises en charge dans la recherche inter-cluster.

• Le pipeline ingest prend en charge les politiques d'enrichissement de type range.

• Le cache est optimisé pour améliorer les performances des requêtes.

• Ajoutez des index à un flux de données et supprimez-en.

• L'UUID et le nom du cluster sont ajoutés au journal d'audit. Pour plus d'informations sur les modifications, consultez Breaking changes in 7,16.

Version 7.10

Nouvelles fonctionnalités open source :

• La capacité de compression pour les champs stockés est améliorée pour réduire les coûts de stockage.

• La sécurité ES est renforcée par Event Query Language (EQL).

• La valeur par défaut de search.max_buckets est augmentée de 10 000 à 65 535.

• Les requêtes insensibles à la casse sont prises en charge. Pour exécuter une requête insensible à la casse, définissez le paramètre optionnel case_insensitive sur true. Pour plus d'informations sur les modifications, consultez Breaking changes in 7,10.

Version 7.7

Nouvelles fonctionnalités open source :

• Lors de la création d'un index, le nombre par défaut de shards passe de cinq à un.

• Les types de mapping sont supprimés. Vous n'avez pas besoin de spécifier un type lors de la définition des mappings et des modèles d'index. Pour plus d'informations, consultez Removal of mapping types.

• Une requête de recherche retourne un maximum de 10 000 documents par défaut. Si le nombre total dépasse cette valeur, ES ne retourne que 10 000 documents. Pour plus d'informations, consultez track_total_hits 10000 default.

• Un seul nœud de données peut contenir un maximum de 1 000 shards par défaut. Configurez cette limite à l'aide du paramètre cluster.max_shards_per_node. Pour plus d'informations, consultez cluster shard limit.

• Le nombre total d'objets scroll est limité à 500 par défaut. Configurez cette limite à l'aide du paramètre search.max_open_scroll_context. Pour plus d'informations, consultez Scroll Search Context.

• Le disjoncteur parent utilise la mémoire disponible réelle comme référence (indices.breaker.total.use_real_memory). La valeur par défaut est de 95 % de la mémoire heap JVM, ce qui maximise l'utilisation de la mémoire et évite les erreurs de mémoire insuffisante. Pour plus d'informations, consultez Circuit Breaker.

• La prise en charge du champ _all est dépréciée, ce qui améliore les performances de recherche.

• Intervals Queries sont ajoutées. Récupérez des documents en fonction de l'ordre et de la proximité de plusieurs chaînes dans le texte.

• Après avoir activé la journalisation d'audit, les événements d'audit sont persistés dans le fichier <clustername>_audit.json sur le système de fichiers hôte. La sortie vers un index n'est pas prise en charge. Pour plus d'informations, consultez Enabling audit logging. Pour plus d'informations sur les modifications de la série 7.x, consultez Breaking changes in 7.0.

Version 6.x (6.7 et 6.8)

Nouvelles fonctionnalités open source :

• Un index ne peut avoir qu'un seul type. Nous vous recommandons d'utiliser _doc.

• À partir de la version 6.6.0, la gestion du cycle de vie des index (ILM) est ajoutée pour réduire les coûts de maintenance des index.

• La fonctionnalité Rolling up historical data est ajoutée pour résumer les données historiques.

• À partir de la version 6.3, X-Pack SQL est pris en charge. Les instructions SQL sont converties en instructions DSL, ce qui réduit le coût d'apprentissage du DSL.

• Les fonctions d'agrégation sont enrichies. Les fonctions Composite, Parent et Weighted Avg sont prises en charge. Pour plus d'informations sur les modifications, consultez Breaking changes in 6,0.

Version 5.x (5.6)

Nouvelles fonctionnalités open source :

• Un index peut avoir plusieurs types, et les types personnalisés sont pris en charge.

• Le type de champ string est supprimé et remplacé par text ou keyword.

• La valeur du champ index passe de not_analyzed ou no à true ou false.

• float est utilisé à la place de double pour réduire les coûts de stockage.

• Le Java High Level REST Client remplace l'ancien client Java transport. Pour plus d'informations sur les modifications, consultez Breaking changes in 5,0.