Elasticsearch:バージョン別の機能

バージョン 9.3

新しいオープンソース機能：

• Agent Builder が一般提供 (GA) されました。Kibana で、対話を通じて Elasticsearch データとやり取りし、AI チャットアプリケーションを構築できます。組み込みのエージェントが、すぐに使える機能を提供します。

• Elastic Inference Service (EIS) が拡張され、Jina AI モデルをサポートするようになり、推論サービスのモデルエコシステムがさらに充実しました。

• DiskBBQ は、完全なベクトルをメモリにロードすることなく、ディスクから直接量子化ベクトルを検索します。100 MB のメモリで、レイテンシを 20 ms 未満に抑えることができます。ベクトル化処理のための NVIDIA GPU アクセラレーションもサポートされています。

• ACORN 絞り込みベクトル検索アルゴリズムは、絞り込みロジックを HNSW グラフ探索に統合します。精度に影響を与えることなく、絞り込み検索の速度が 5 倍向上します。

• Lucene 10 上に構築されており、インデックス圧縮率と転置インデックス検索の効率がさらに向上しています。

• LOOKUP JOIN が一般提供 (GA) されました。ES|QL クエリパイプラインで直接クロスインデックス結合操作を実行できます。複数フィールドのマッチング、式操作、リモートクラスター間での実行もサポートされています。

• 時系列データの ES|QL クエリパフォーマンスが大幅に最適化され、レイテンシが最大 5 倍削減されました。新しい時系列集約コマンドには、RATE、*_OVER_TIME、TBUCKET、TS が含まれます。

• Inline Stats は多段階ロジックをサポートします。stats コマンドを使用して、行レベルの詳細を保持しながら、パイプラインの途中でデータを集約できます。

• 高同時実行書き込みシナリオでのメモリジッターに対してガベージコレクション (GC) が最適化され、システムの安定性が向上しました。

  Alibaba Cloud Elasticsearch は 9.3 をベースにした最新バージョンをリリースします。AI 機能では、Agent Builder を使用して Kibana で AI チャットアプリケーションを構築でき、EIS 推論サービスは Jina AI モデルのサポートを追加します。ベクトル検索では、DiskBBQ と ACORN アルゴリズムがメモリ使用量を大幅に削減し、絞り込み検索のパフォーマンスを向上させ、GPU アクセラレーションがサポートされます。クエリと分析では、ES|QL がクロスインデックス関連付けのための LOOKUP JOIN、多段階集約のための Inline Stats、およびレイテンシを最大 5 倍削減する時系列クエリの最適化を追加します。基盤となるエンジンは Lucene 10 にアップグレードされ、高同時実行シナリオでの GC の安定性が向上しています。

変更点の詳細については、「What’s new in 9.x」をご参照ください。

バージョン 8.17

新しいオープンソース機能：

• dense_vector に Better Binary Quantization (BBQ) 量子化タイプが導入されました。ベクトルインデックスは 32 倍のメモリ圧縮を実現し、メモリ容量を大幅に削減します。

• Inference API が一般提供 (GA) されました。詳細については、「Inference APIs」をご参照ください。

• Reciprocal Rank Fusion (RRF) が一般提供 (GA) されました。詳細については、「Reciprocal rank fusion」をご参照ください。

• logsdb インデックスモードが一般提供 (GA) されました。ログのインデックス作成に使用するストレージ容量が約 3 分の 1 になります。詳細については、「Logs data stream」をご参照ください。

• 組み込みの Elastic Rerank モデルが導入されました。詳細については、「Elastic Rerank」をご参照ください。

• best_compression コーデックは zstd を使用し、ストレージを約 12% 削減し、書き込みスループットを 14% 向上させます。

• 全文検索のサポートなど、いくつかの ES|QL 機能が最適化されました。詳細については、「ES|QL」をご参照ください。

  Alibaba Cloud Elasticsearch は 8.17 をベースにした最新の拡張版をリリースします。組み込みのモデルサービスにより、AI 検索アプリケーションを柔軟に構築でき、任意の外部 AI モデルサービスを呼び出すことができます。また、Better Binary Quantization (BBQ) により、メモリコストを 10 倍以上削減できます。

変更点の詳細については、「What’s new in 8.17」および「What’s new in 8.16」をご参照ください。

バージョン 8.15

新しいオープンソース機能：

• ベクトルインデックスフィールドが最適化されました。詳細については、「dense-vector」をご参照ください。

• int8_hnsw タイプが hnsw を置き換え、デフォルトタイプとなり、int8 量子化がデフォルトで有効になります。

• int4 量子化に対応しており、メモリ容量を 8 分の 1 に削減できます。

• bit ベクトルタイプが追加されました。

• SIMD 命令により、aarch64 アーキテクチャでの int8 量子化インデックスのマージパフォーマンスが高速化されます。マージパフォーマンスが約 3 倍向上します。

• 再ランキングフェーズがサポートされ、text_similarity_reranker は再ランキングモデルを使用できます。詳細については、「text-similarity-reranker-retriever」をご参照ください。

• マルチチャネルリコールをサポートするために、retriever クエリ構文が追加されました。詳細については、「retriever」をご参照ください。

• セマンティック検索を容易にするために、semantic_text フィールドタイプが追加されました。詳細については、「semantic-text」をご参照ください。

• スパースクエリは text_expansion の代わりに sparse_vector 構文を使用します。詳細については、「query-dsl-sparse-vector-query」をご参照ください。

• query rules API が一般提供 (GA) されました。詳細については、「query-rules-apis」をご参照ください。

• インデックスソートはネストされたフィールドをサポートします。詳細については、「index-modules-index-sorting」をご参照ください。

• ログシナリオ向けの効率的な logsdb インデックスが追加されました。詳細については、「logs-data-stream」をご参照ください。

• Lucene が 9.11 にアップグレードされ、メモリ効率とクエリパフォーマンスが向上しました。詳細については、「apache-lucenetm-9110-available」をご参照ください。

  変更点の詳細については、「What’s new in 8.15」および「What’s new in 8.14」をご参照ください。

バージョン 8.13

新しいオープンソース機能：

• ベクトル次元が 4,096 に増加しました。詳細については、「4096 dimension dense vector」をご参照ください。

• ベクトルインデックスはスカラー量子化をサポートし、ベクトルインデックスのメモリを約 75% 削減します。詳細については、「scalar-quantization-in-lucene」をご参照ください。

• スパースベクトルがサポートされ、sparse_vector タイプが追加されました。詳細については、「Sparse vector」をご参照ください。

• 単一シャードでのクエリの同時実行がサポートされました。詳細については、「Query parallelization」をご参照ください。

• ベクトルフィールドはネストタイプをサポートします。ドキュメントをパッセージに分割し、パッセージのベクトルインデックスを作成できます。詳細については、「Multiple results from the same doc with nested vectors」をご参照ください。

• Learning To Rank が追加され、rescore フェーズでの結果の再ランキングをサポートします。詳細については、「Learning To Rank」をご参照ください。

• 外部モデルサービスを統合する新しい inference API がサポートされました。詳細については、「inference APIs」をご参照ください。

• SIMD によりベクトルクエリのパフォーマンスが向上します。詳細については、「Accelerating vector search with SIMD instructions」をご参照ください。

  変更点の詳細については、「What’s new in 8.13」をご参照ください。

バージョン 8.9

新しいオープンソース機能：

• テキストとベクトルのリコール結果のハイブリッドランキングがサポートされました。詳細については、「Reciprocal rank fusion (RRF)」をご参照ください。

• 最大ベクトル次元が 2,048 に増加しました。詳細については、「Increase max number of vector dims to 2048」をご参照ください。

• ブルートフォース検索のパフォーマンスが向上しました。詳細については、「Improve brute force vector search speed」をご参照ください。

• KNN クエリは、複数のフィールドを同時にクエリすることをサポートします。詳細については、「Allow more than one KNN search clause」をご参照ください。

• ELSER モデルが組み込まれました。詳細については、「ELSER inference integration」をご参照ください。

• 分散 NLP モデルのスケジューリングと管理が安定してサポートされるようになりました。詳細については、「Make native inference generally available」をご参照ください。

• プライマリキーを使用した書き込みパフォーマンスが向上しました。詳細については、「Primary key optimization」をご参照ください。

• 定数キーワードフィールドのクエリパフォーマンスが向上しました。詳細については、「Skip shards when querying constant keyword fields」をご参照ください。

• 時系列データストリーム (TSDS) とダウンサンプリングが安定してサポートされるようになりました。詳細については、「TSDS」および「Downsample」をご参照ください。

• ソーステキストのメモリが最適化され、ThreadLocal の使用が削除されました。詳細については、「Remove uses of deprecated LeafReader」をご参照ください。

  変更点の詳細については、「What’s new in 8.9」をご参照ください。

バージョン 8.5

新しいオープンソース機能：

• ベクトル類似検索が HNSW アルゴリズムに基づいて実装されました。詳細については、「k-最近傍 (kNN) 検索」をご参照ください。

• 時系列機能 (TSDS) が追加されました。詳細については、「時系列データストリーム (TSDS)」をご参照ください。

• Geo グリッドクエリが追加されました。詳細については、「Geo グリッドクエリ」をご参照ください。

• セキュリティ設定が簡素化されました。詳細については、「Start the Elastic Stack with security enabled automatically」をご参照ください。

• Lucene の圧縮アルゴリズムが改善され、インデックスサイズが削減されました。

• 範囲クエリのパフォーマンスが向上しました。

• lookup ランタイムフィールドタイプがサポートされました。詳細については、「lookup-runtime-fields」をご参照ください。

• ランダムサンプラー集約クエリが実装されました。詳細については、「Random sampler aggregation」をご参照ください。

• マスターノードとデータノードのヒープメモリ消費量が削減されました。

• _type が削除されました。ただし、8.x は 7.x のリクエストとの互換性を維持しています。互換性の詳細については、「rest-api-compatibility」をご参照ください。

• インデックス保護が提供されます。デフォルトでは、elastic ユーザーは組み込みの ES インデックスのみを読み取ることができます。

  変更点の詳細については、「Breaking changes in 8.5」をご参照ください。

バージョン 7.16

新しいオープンソース機能：

• クラスター間検索で SQL クエリがサポートされました。

• ingest パイプラインは、range タイプの enrich ポリシーをサポートします。

• キャッシュが最適化され、クエリパフォーマンスが向上しました。

• データストリームに対してインデックスの追加と削除ができます。

• クラスター UUID と名前が監査ログに追加されました。

  変更点の詳細については、「Breaking changes in 7.16」をご参照ください。

バージョン 7.10

新しいオープンソース機能：

• 格納フィールドの圧縮機能が向上し、ストレージコストが削減されました。

• Event Query Language (EQL) により ES のセキュリティが強化されました。

• search.max_buckets のデフォルト値が 10,000 から 65,535 に増加しました。

• 大文字と小文字を区別しないクエリがサポートされました。大文字と小文字を区別しないクエリを実行するには、オプションの case_insensitive パラメーターを true に設定します。

  変更点の詳細については、「Breaking changes in 7.10」をご参照ください。

バージョン 7.7

新しいオープンソース機能：

• インデックスを作成する際のデフォルトのシャード数が 5 から 1 に変更されました。

• マッピングタイプが削除されました。インデックスマッピングとテンプレートを定義する際にタイプを指定する必要はありません。詳細については、「Removal of mapping types」をご参照ください。

• 検索リクエストは、デフォルトで最大 10,000 件のドキュメントを返します。合計数がこの値を超える場合、ES は 10,000 件のドキュメントのみを返します。詳細については、「track_total_hits 10000 default」をご参照ください。

• 単一のデータノードには、デフォルトで最大 1,000 個のシャードを含めることができます。この制限は cluster.max_shards_per_node パラメーターを使用して設定できます。詳細については、「cluster shard limit」をご参照ください。

• スクロールオブジェクトの総数は、デフォルトで 500 に制限されています。この制限は search.max_open_scroll_context パラメーターを使用して設定できます。詳細については、「Scroll Search Context」をご参照ください。

• 親サーキットブレーカーは、実際の使用可能なメモリをベースラインとして使用します (indices.breaker.total.use_real_memory)。デフォルト値は JVM ヒープメモリの 95% であり、メモリ使用量を最大化し、メモリ不足エラーを回避します。詳細については、「Circuit Breaker」をご参照ください。

• _all フィールドのサポートが非推奨となり、検索パフォーマンスが向上しました。

• Intervals クエリが追加されました。テキスト内の複数の文字列の順序と近接性に基づいてドキュメントを取得できます。

• 監査ログを有効にすると、監査イベントはホストファイルシステムの <clustername>_audit.json ファイルに永続化されます。インデックスへの出力はサポートされていません。詳細については、「Enabling audit logging」をご参照ください。

  7.x シリーズの変更点の詳細については、「Breaking changes in 7.0」をご参照ください。

バージョン 6.x (6.7 および 6.8)

新しいオープンソース機能：

• 1 つのインデックスには 1 つのタイプしか持てません。_doc を使用することを推奨します。

• 6.6.0 から、インデックスライフサイクル管理 (ILM) が追加され、インデックスのメンテナンスコストが削減されました。

• 履歴データのロールアップ機能が追加され、履歴データを要約できるようになりました。

• 6.3 から、X-Pack SQL がサポートされました。SQL ステートメントは DSL ステートメントに変換され、DSL の学習コストが削減されます。

• 集約関数が充実しました。Composite、Parent、および Weighted Avg 関数がサポートされています。

  変更点の詳細については、「Breaking changes in 6.0」をご参照ください。

バージョン 5.x (5.6)

新しいオープンソース機能：

• 1 つのインデックスに複数のタイプを持つことができ、カスタムタイプがサポートされています。

• string フィールドタイプが削除され、text または keyword に置き換えられました。

• index フィールドの値が not_analyzed または no から true または false に変更されました。

• ストレージコストを削減するために、double の代わりに float が使用されます。

• Java High Level REST Client がレガシーな Java transport client を置き換えました。

  変更点の詳細については、「Breaking changes in 5.0」をご参照ください。