Elasticsearch:バージョン別の機能

バージョン9.3

新しいオープンソース機能

• Agent Builder が一般提供 (GA) されました。Kibana で対話を通じて Elasticsearch データとやり取りし、AI 活用型の質疑応答 (Q&A) アプリケーションを構築し、組み込みエージェントなどの標準搭載の機能を使用できます。

• Elastic Inference Service (EIS) 拡張機能が Jina AI モデルをサポートし、推論モデルのエコシステムが拡張されました。

• DiskBBQ を使用すると、完全なベクトルをヒープメモリにロードすることなく、ディスクから直接量子化ベクトルを検索できます。わずか 100 MB のメモリで 20 ms 未満のレイテンシーを実現し、ベクトル処理向けに NVIDIA GPU アクセラレーションをサポートします。

• ACORN フィルタリングベクトル検索アルゴリズムは、フィルタリングロジックを HNSW グラフ探索に統合し、精度に影響を与えることなくフィルタリング検索速度を最大 5 倍向上させます。

• Lucene 10 上に構築されており、インデックス圧縮率と転置インデックス検索効率がさらに向上しています。

• LOOKUP JOIN が一般提供 (GA) されました。ES|QL クエリパイプライン内で直接クロスインデックス結合をサポートし、複数フィールドのマッチング、式計算、リモートクラスター間での実行をサポートするよう拡張されています。

• 時系列データの ES|QL クエリパフォーマンスが大幅に最適化され、レイテンシーが最大 5 倍削減されました。RATE、*_OVER_TIME、TBUCKET、TS などの新しい時系列集計コマンドが追加されました。

• インライン統計がマルチステージロジックをサポートするようになりました。これにより、stats コマンドを使用してパイプラインの途中で集計を実行できます。

• 高同時実行書き込みシナリオでのメモリ変動に対するガベージコレクション (GC) を最適化し、システムの安定性を向上させます。

Alibaba Cloud Elasticsearch 9.3 では大幅なアップデートが導入されました。AI に関しては、Agent Builder を使用して Kibana で Q&A アプリケーションを構築でき、EIS 推論サービスは Jina AI モデルをサポートするようになりました。ベクトル検索では、DiskBBQ と ACORN アルゴリズムがメモリ使用量を大幅に削減し、フィルタリング検索パフォーマンスを向上させ、GPU アクセラレーションもサポートするようになりました。クエリと分析に関しては、ES|QL がクロスインデックスクエリのための LOOKUP JOIN、マルチステージ集計のためのインライン統計、レイテンシーを最大 5 倍削減する時系列クエリ最適化によって強化されています。基盤となるエンジンは Lucene 10 にアップグレードされ、同時実行性の高いワークロードに対する GC の安定性が向上しています。

変更点の詳細については、「9.x の新機能」をご参照ください。

バージョン8.17

新しいオープンソース機能

• dense_vector フィールドに、ベクトルインデックスを 32 分の 1 に圧縮し、メモリ使用量を大幅に削減する量子化タイプである Better Binary Quantization (BBQ) が導入されました。

• Inference API が一般提供 (GA) されました。詳細については、「Inference API」をご参照ください。

• Reciprocal Rank Fusion (RRF) 機能が一般提供 (GA) されました。詳細については、「Reciprocal Rank Fusion」をご参照ください。

• logsdb インデックスモードが一般提供 (GA) されました。このモードでは、ログインデックスのストレージ容量を約 3 分の 1 に削減できます。詳細については、「Logs data stream」をご参照ください。

• 組み込みの Elastic Rerank モデルが導入されました。詳細については、「Elastic Rerank」をご参照ください。

• best_compression コーデックは zstd を使用するようになり、ストレージが約 12% 削減され、書き込みスループットが 14% 向上しました。

• ES|QL は、全文検索のサポートを含むいくつかの機能によって最適化されています。詳細については、「ES|QL」をご参照ください。

Elasticsearch 8.17 をベースにした最新の拡張版では、組み込みのモデルサービスを使用して AI 活用型検索アプリケーションを柔軟に構築でき、外部の AI モデルサービスの呼び出しもサポートします。Better Binary Quantization (BBQ) により、メモリコストを 10 倍以上削減できます。

変更点の詳細については、「8.17 の新機能」および「8.16 の新機能」をご参照ください。

バージョン8.15

新しいオープンソース機能

• ベクトルインデックスフィールドが最適化されました。詳細については、「dense-vector」をご参照ください。

  • int8_hnsw タイプが hnsw に代わってデフォルトとなり、int8 量子化がデフォルトで有効になります。

  • メモリ使用量を最大で 8 分の 1 に削減できる int4 量子化をサポートします。

  • bit ベクター型を追加します。

• SIMD 命令を使用して、aarch64 アーキテクチャ上の int8 量子化インデックスのマージパフォーマンスを約 3 倍高速化します。

• text_similarity_reranker が rerank モデルを使用できる rerank フェーズが追加されました。詳細については、「text-similarity-reranker-retriever」をご参照ください。

• マルチチャネルリコールをサポートする retriever クエリ構文が追加されました。詳細については、「retriever」をご参照ください。

• セマンティック検索を改善するための semantic_text フィールドタイプが追加されました。詳細については、「semantic-text」をご参照ください。

• スパースクエリは text_expansion の代わりに sparse_vector 構文を使用します。詳細については、「query-dsl-sparse-vector-query」をご参照ください。

• クエリルール API が一般提供 (GA) されました。詳細については、「query-rules-apis」をご参照ください。

• インデックスソートがネストされたフィールドをサポートするようになりました。詳細については、「index-modules-index-sorting」をご参照ください。

• ログ記録シナリオ向けに、効率的な logsdb インデックスモードが追加されました。詳細については、「logs-data-stream」をご参照ください。

• Lucene 9.11 にアップグレードされ、メモリ効率とクエリパフォーマンスが向上しました。詳細については、「apache-lucenetm-9110-available」をご参照ください。

変更点の詳細については、「8.15 の新機能」および「8.14 の新機能」をご参照ください。

バージョン8.13

新しいオープンソース機能

• 最大ベクトル次元が 4,096 に増加しました。詳細については、「4096 dimension dense vector」をご参照ください。

• ベクトルインデックスがスカラー量子化をサポートするようになり、ベクトルインデックスのメモリ使用量を約 75% 削減できます。詳細については、「scalar-quantization-in-lucene」をご参照ください。

• スパースベクトル用に sparse_vector タイプをサポートします。詳細については、「Sparse vector」をご参照ください。

• 単一シャードでの並列クエリをサポートします。詳細については、「Query parallelization」をご参照ください。

• ベクトルフィールドがネスト型をサポートするようになり、ドキュメントをパッセージに分割してそれぞれにベクトルインデックスを作成できます。詳細については、「Multiple results from the same doc with nested vectors」をご参照ください。

• rescore フェーズでの結果の再ランキングをサポートする Learning to Rank (LTR) 機能が追加されました。詳細については、「Learning To Rank」をご参照ください。

• 外部モデルサービスと統合するための新しい inference API をサポートします。詳細については、「inference APIs」をご参照ください。

• SIMD を使用してベクトルクエリのパフォーマンスを向上させます。詳細については、「Accelerating vector search with SIMD instructions」をご参照ください。

変更点の詳細については、「8.13 の新機能」をご参照ください。

バージョン8.9

新しいオープンソース機能

• テキストとベクトルのリコール結果のハイブリッドランキングをサポートします。詳細については、「Reciprocal rank fusion (RRF)」をご参照ください。

• 最大ベクトル次元が 2,048 に増加しました。詳細については、「Increase max number of vector dims to 2048」をご参照ください。

• ブルートフォース検索のパフォーマンスが向上しました。詳細については、「Improve brute force vector search speed」をご参照ください。

• k-NN 検索が複数フィールドの同時クエリをサポートするようになりました。詳細については、「Allow more than one KNN search clause」をご参照ください。

• 組み込みの ELSER モデルを提供します。詳細については、「ELSER inference integration」をご参照ください。

• 分散 NLP モデルのスケジューリングと管理をサポートします。詳細については、「Make native inference generally available」をご参照ください。

• プライマリキーを持つドキュメントの書き込みパフォーマンスが向上しました。詳細については、「Primary key optimization」をご参照ください。

• 定数キーワードフィールドのクエリパフォーマンスが向上しました。詳細については、「Skip shards when querying constant keyword fields」をご参照ください。

• 時系列データストリーム (TSDS) とダウンサンプリング機能をサポートします。詳細については、「TSDS」および「Downsample」をご参照ください。

• ThreadLocal の使用を削除することで、ソースドキュメントのメモリを最適化しました。詳細については、「Remove uses of deprecated LeafReader」をご参照ください。

変更点の詳細については、「8.9 の新機能」をご参照ください。

バージョン8.5

新しいオープンソース機能

• HNSW アルゴリズムに基づくベクトル類似性検索が追加されました。詳細については、「k-nearest neighbor (kNN) search」をご参照ください。

• 時系列データストリーム (TSDS) 機能が追加されました。詳細については、「Time series data stream (TSDS)」をご参照ください。

• Geo グリッドクエリが追加されました。詳細については、「Geo grid query」をご参照ください。

• セキュリティ設定が簡素化されました。詳細については、「Start the Elastic Stack with security enabled automatically」をご参照ください。

• Lucene 圧縮アルゴリズムが改善され、インデックスサイズが削減されました。

• 範囲クエリのパフォーマンスが向上しました。

• lookup ランタイムフィールドタイプをサポートします。詳細については、「lookup-runtime-fields」をご参照ください。

• ランダムサンプラー集計クエリが実装されました。詳細については、「Random sampler aggregation」をご参照ください。

• マスターノードとデータノードのヒープメモリ消費量が削減されました。

• _type マッピングが削除されました。ただし、バージョン 8.x はバージョン 7.x からのリクエストと互換性があります。互換性の詳細については、「rest-api-compatibility」をご参照ください。

• インデックス保護が提供されます。デフォルトでは、elastic ユーザーは組み込みの Elasticsearch インデックスのみを読み取ることができます。

変更点の詳細については、「8.5 の破壊的変更」をご参照ください。

バージョン7.16

新しいオープンソース機能

• クロスクラスター検索での SQL クエリをサポートします。

• Ingest パイプラインが range タイプのエンリッチポリシーをサポートするようになりました。

• キャッシュが最適化され、クエリパフォーマンスが向上しました。

• データストリームへのインデックスの追加と削除が可能です。

• 監査ログにクラスターの UUID と名前情報が追加されました。

変更点の詳細については、「7.16 の破壊的変更」をご参照ください。

バージョン7.10

新しいオープンソース機能

• ストアードフィールドの圧縮が改善され、ストレージコストが削減されました。

• Event Query Language (EQL) により Elasticsearch のセキュリティが強化されました。

• search.max_buckets のデフォルト値が 10,000 から 65,535 に増加しました。

• 大文字と小文字を区別しないクエリのサポートが追加されました。オプションの case_insensitive パラメーターを true に設定することで有効にできます。

変更点の詳細については、「7.10 の破壊的変更」をご参照ください。

バージョン7.7

新しいオープンソース機能

• 新しいインデックスのデフォルトのシャード数が 5 から 1 に変更されました。

• マッピングタイプが削除されました。インデックスマッピングとテンプレートを定義する際にタイプを指定する必要はなくなりました。詳細については、「マッピングタイプの削除」をご参照ください。

• 検索リクエストは、デフォルトで最大 10,000 件のドキュメントを返します。この上限を超えた場合、10,000 件のドキュメントのみが返されます。詳細については、「track_total_hits 10000 default」をご参照ください。

• 単一のデータノードには、デフォルトで最大 1,000 個のシャードを含めることができます。この上限は、cluster.max_shards_per_node パラメーターを使用して設定できます。詳細については、「Cluster Shard Limit」をご参照ください。

• スクロールコンテキストの合計数は、デフォルトで 500 に制限されます。この上限は、search.max_open_scroll_context パラメーターを使用して設定できます。詳細については、「Scroll Search Context」をご参照ください。

• 親サーキットブレーカーは実メモリ (indices.breaker.total.use_real_memory) を使用するようになり、デフォルトで JVM ヒープメモリの 95% に設定され、可用性を最大化し、OutOfMemory エラーを防ぎます。詳細については、「Circuit Breaker」をご参照ください。

• 検索パフォーマンスを向上させるため、_all フィールドのサポートが削除されました。

• 用語の順序と近接性に基づいてドキュメントを検索する Intervals Queries が追加されました。

• 監査が有効になっている場合、監査イベントはホストのファイルシステム上の <clustername>_audit.json ファイルに書き込まれます。インデックスへの監査イベントの保存はサポートされていません。詳細については、「監査ログの有効化」をご参照ください。

変更点の詳細については、「7.0 の破壊的変更」をご参照ください。

バージョン6.x (6.7 および 6.8)

新しいオープンソース機能

• インデックスは 1 つのタイプしか持てません。_doc タイプが推奨されます。

• バージョン 6.6.0 以降、メンテナンスコストを削減するためにインデックスライフサイクル管理 (ILM) が追加されました。

• 履歴データを要約する履歴データのロールアップ機能が追加されました。

• バージョン 6.3 以降、X-Pack SQL がサポートされるようになりました。これにより、SQL ステートメントを DSL クエリに変換でき、DSL の学習コストを削減できます。

• Composite、Parent、Weighted Avg などの集計関数が追加されました。

変更点の詳細については、「6.0 の破壊的変更」をご参照ください。

バージョン5.x (5.6)

新しいオープンソース機能

• インデックスは複数のタイプを持つことができ、カスタムタイプを定義できます。

• string フィールドタイプは非推奨となり、text または keyword が推奨されます。

• index マッピングパラメーターの値が not_analyzed または no から true または false に変更されました。

• ストレージコストを削減するために、double の代わりに float データ型が使用されます。

• Java High Level REST Client が TransportClient に代わって使用されるようになりました。

変更点の詳細については、「5.0 の破壊的変更」をご参照ください。