Elasticsearch:特徴

8.17

V8.17 は Vector Search Edition の基盤であり、モデルサービスを統合することで、AI Search アプリケーションの構築や外部 AI モデルサービスの呼び出しが可能になります。BBQ 機能により、標準的な密ベクトルストレージと比較してメモリコストを 10 倍以上削減できます。

主な追加機能：

• 密ベクトル向けの Better binary quantization (BBQ) — ベクトルインデックスを 32 倍圧縮し、メモリ使用量を大幅に削減します。これは Vector Search Edition のコア機能です。詳細については、「8.17 の新機能」をご参照ください。

• Inference APIs の一般提供 (GA) — 外部モデルサービスを検索パイプラインに統合するための安定した API を提供します。詳細については、「Inference APIs」をご参照ください。

• Reciprocal rank fusion (RRF) の一般提供 (GA) — テキストおよびベクトルの再現率ランキングを手動によるスコア調整なしで統合します。詳細については、「RRF」をご参照ください。

• logsdb インデックスモードの一般提供 (GA) — デフォルトのインデックスモードと比較して、ログインデックスのストレージを 3 倍削減します。詳細については、「Logs data stream」をご参照ください。

• Elastic Rerank 組み込みモデル — 語彙検索またはベクトル検索結果に対して第 2 ステージで適用されるセマンティック再ランキングモデルです。RAG アプリケーションにおいて、大規模言語モデルに送信する最も関連性の高いコンテキストを特定するのに役立ちます。詳細については、「Elastic Rerank」をご参照ください。

• best_compression コーデック向けの zstd 圧縮 — ストレージを 12% 削減し、書き込みスループットを 14% 向上させます。

• ES|QL の改善 — Elasticsearch Query Language (ES|QL) に全文検索のサポートを追加しました。詳細については、「ES|QL」をご参照ください。

変更点の完全な一覧については、「8.17 の新機能」および「8.16 の新機能」をご参照ください。

8.15

V8.15 では、ベクトル検索の効率性およびマルチモーダル検索の強化に焦点を当てています。INT8 または INT4 量子化ベクトルインデックス、あるいは再ランキングを含むハイブリッド検索パイプラインが必要な場合は、このバージョンから開始することを推奨します。

主な追加機能：

• INT8_HNSW をデフォルトのベクトルアルゴリズムに採用 — 密ベクトル向けのデフォルトアルゴリズムとして HNSW を置き換え、INT8 量子化をデフォルトで有効化します。INT4 量子化もサポートされており、float32 インデックスと比較して最大 8 倍のメモリ削減が可能です。bit ベクトル型が利用可能になりました。詳細については、「dense-vector」をご参照ください。

• SIMD 加速による INT8 インデックスマージ — AArch64 アーキテクチャ上で、INT8 量子化インデックスのマージパフォーマンスを約 3 倍向上させます。

• 再ランキングフェーズおよび text_similarity_reranker API — 検索に再ランキングフェーズを追加し、第 2 ステージとして再ランキングモデルを適用できるようにします。詳細については、「text-similarity-reranker-retriever」をご参照ください。

• マルチモーダル検索向けの retriever クエリ構文 — 複数の検索戦略を統合するための統一構文を提供します。詳細については、「retriever」をご参照ください。

• `semantic_text` フィールド型 — フィールドレベルで推論構成を処理することで、セマンティック検索のセットアップを簡素化します。詳細については、「semantic-text」をご参照ください。

• `sparse_vector` クエリが `text_expansion` を置き換え — 疎ベクトルクエリの更新された構文です。詳細については、「query-dsl-sparse-vector-query」をご参照ください。

• `query_rules` API の一般提供 (GA) — 検索結果にクエリルールを適用するための安定した API を提供します。詳細については、「query-rules-apis」をご参照ください。

• ネストされたフィールドに対するインデックスソートのサポート — ネストされたフィールドでインデックスをソートできます。詳細については、「index-modules-index-sorting」をご参照ください。

• `logsdb` インデックスモード — 効率的なストレージを必要とするログワークロードで利用可能です。詳細については、「logs-data-stream」をご参照ください。

• Lucene 9.11 — クエリパフォーマンスおよびメモリ効率を向上させます。詳細については、「Apache Lucene 9.11.0」をご参照ください。

変更点の完全な一覧については、「8.15 の新機能」および「8.14 の新機能」をご参照ください。

8.13

V8.13 では、ベクトル検索の拡張が大幅に進みました。次元数の増加、スカラー量子化によるメモリ削減、SIMD 加速、チャンク化ドキュメントインデックスおよび外部モデル統合のサポート強化などが含まれます。

主な追加機能：

• 最大ベクトル次元数を 4,096 に拡大 — 従来の 2,048 から拡大されました。詳細については、「4096 dimension dense vector」をご参照ください。

• ベクトルインデックス向けのスカラー量子化 — ベクトルインデックスのメモリ使用量を約 75% 削減します。詳細については、「Understanding scalar quantization in Lucene」をご参照ください。

• `sparse_vector` 型 — 密ベクトルに加えて、疎ベクトルのサポートを追加しました。詳細については、「Sparse vector」をご参照ください。

• シャードレベルのクエリ並列化 — シャード内でのクエリ実行を並列化し、集約および検索の速度を向上させます。詳細については、「Query parallelization」をご参照ください。

• ネストされたベクトル — 大規模ドキュメントをチャンクに分割し、各チャンクを個別にインデックス化することで、チャンク単位のベクトル検索を可能にします。詳細については、「Multiple results from the same doc with nested vectors」をご参照ください。

• Learning To Rank (LTR) — 復元フェーズで機械学習モデルを使用してクエリ結果を再ランキングします。詳細については、「Learning To Rank」をご参照ください。

• 外部モデルサービス向けの Inference APIs — Elasticsearch クエリから直接外部の機械学習 (ML) モデルエンドポイントを呼び出せます。詳細については、「Inference APIs」をご参照ください。

• ベクトルクエリ向けの SIMD サポート — 単一命令複数データ (SIMD) 命令を活用したハードウェア加速ベクトル検索を提供します。詳細については、「Accelerating vector search with SIMD instructions」をご参照ください。

変更点の完全な一覧については、「8.13 の新機能」をご参照ください。

8.9

V8.9 では、ベクトル検索の基盤となる機能が導入されました。具体的には、疎セマンティック検索向けの ELSER、RRF を用いたハイブリッドランキング、およびマルチフィールド k 近傍法 (k-NN) クエリです。

主な追加機能：

• RRF を用いたテキストおよびベクトルのハイブリッドランキング — 手動によるスコア正規化を伴わず、テキスト再現率およびベクトル再現率の結果を相互順位融合 (RRF) を用いて統合します。詳細については、「RRF」をご参照ください。

• 最大ベクトル次元数を 2,048 に拡大 — 詳細については、「Increase max number of vector dims to 2048」をご参照ください。

• ブルートフォースベクトル検索のパフォーマンス向上 — 詳細については、「Improve brute force vector search speed」をご参照ください。

• k-NN クエリにおける複数フィールドのサポート — 単一クエリ内で複数のベクトルフィールドに対して k-NN 検索を実行できます。詳細については、「Allow more than one KNN search clause」をご参照ください。

• ELSER 組み込みモデル — Elastic Learned Sparse EncodeR (ELSER) は、外部推論サービスを必要とせず、Elasticsearch 内でネイティブに実行される疎セマンティック検索モデルです。詳細については、「ELSER inference integration」をご参照ください。

• 分散型自然言語処理 (NLP) モデルのスケジューリング — ノード間で NLP モデルの割り当てをスケジュールおよび管理できます。詳細については、「Make native inference generally available」をご参照ください。

• プライマリキー操作の書き込みパフォーマンス向上 — 詳細については、「Optimize primary keys」をご参照ください。

• 定数キーワードフィールドクエリの高速化 — 定数キーワードフィールドをクエリする際に、シャードをスキップします。詳細については、「Skip shards when querying constant keyword fields」をご参照ください。

• 時系列データストリーム (TSDS) およびダウンサンプリング — 時系列メトリクスを効率的に保存およびダウンサンプリングできます。詳細については、「TSDS」および「Downsample」をご参照ください。

• 生テキストのメモリ使用量削減 — 生テキスト処理から ThreadLocal を削除しました。詳細については、「Remove uses of deprecated LeafReader」をご参照ください。

変更点の完全な一覧については、「8.9 の新機能」をご参照ください。

8.5

V8.5 では、HNSW をベースとした k-NN を通じたベクトル検索の基盤サポートが追加され、パフォーマンスおよびセキュリティの向上が図られました。

主な追加機能：

• HNSW をベースとしたベクトル類似検索 — 近似最近傍検索のための Hierarchical Navigable Small World (HNSW) アルゴリズムを提供します。詳細については、「kNN search」をご参照ください。

• 時系列データストリーム (TSDS) — 詳細については、「TSDS」をご参照ください。

• geo_grid クエリ — 地理空間グリッドセルごとにドキュメントをクエリします。詳細については、「Geo-grid query」をご参照ください。

• 簡易化されたセキュリティ構成 — 新規クラスターでは、セキュリティが自動的に有効化されます。詳細については、「Start the Elastic Stack with security enabled automatically」をご参照ください。

• Lucene 圧縮の改善 — インデックスサイズを削減します。

• 高速化された範囲クエリ — 範囲クエリのパフォーマンスを向上させます。

• `lookup` ランタイムフィールド — 詳細については、「lookup-runtime-fields」をご参照ください。

• `random_sampler` 集約 — ランダムサンプリングを用いて、大規模データセットに対する近似集約を実行します。詳細については、「Random sampler aggregation」をご参照ください。

• マスターノードおよびデータノードのヒープメモリ削減 — ベースラインのメモリ消費量を低減します。

• マッピングタイプの廃止 — マッピングタイプはサポートされなくなりました。アプリケーションがこれに依存している場合は、RESTful API 互換性を利用してください。詳細については、「rest-api-compatibility」をご参照ください。

• インデックス保護 — デフォルトでは、elastic ユーザーは、組み込みの Elasticsearch インデックスからデータを読み取るのみが許可されます。

変更点の完全な一覧については、「8.5 の破壊的変更」をご参照ください。

7.16

主な追加機能：

• SQL を使用したクラスター間検索

• インジェストパイプラインにおけるレンジ型エンリッチポリシー

• クエリパフォーマンス向上のためのキャッシュ最適化

• データストリームからのインデックスの追加および削除

• 監査ログにクラスター UUID およびクラスター名を含める

変更点の完全な一覧については、「7.16 の破壊的変更」をご参照ください。

7.10

主な追加機能：

• ストレージフィールドの圧縮の改善により、ストレージコストを削減

• セキュリティイベント検出のための Event Query Language (EQL)。詳細については、「EQL」をご参照ください。

• search.max_buckets のデフォルト値を 10,000 から 65,535 に増加。詳細については、「search.max_buckets」をご参照ください。

• case_insensitive パラメーターを用いた大文字小文字を区別しないクエリ。詳細については、「case_insensitive」をご参照ください。

変更点の完全な一覧については、「7.10 の破壊的変更」をご参照ください。

7.7

主な追加機能：

• インデックステンプレートにおけるデフォルトシャード数を 5 から 1 に変更

• マッピングタイプの廃止 — マッピングまたはインデックステンプレートを定義する際に、マッピングタイプを指定する必要がなくなりました。詳細については、「Removal of mapping types」をご参照ください。

• デフォルトの結果制限をリクエストあたり 10,000 ドキュメントに設定 (track_total_hits)。詳細については、「track_total_hits」をご参照ください。

• データノードあたりのデフォルトシャード制限を 1,000 に設定 (cluster.max_shards_per_node)。詳細については、「Cluster shard limit」をご参照ください。

• デフォルトのスクロールコンテキスト制限を 500 に設定 (search.max_open_scroll_context)。詳細については、「Scroll search context」をご参照ください。

• 親サーキットブレーカーが JVM ヒープメモリの 95% でトリガーされるようになり (indices.breaker.total.use_real_memory)、固定しきい値ではなく実際のメモリ使用量に基づくようになりました。詳細については、「Circuit breaker」をご参照ください。

• _all フィールドを削除し、検索パフォーマンスを向上

• インターバルクエリをサポート — 一致する用語の順序および近接性に基づいてドキュメントを検索および返却します。詳細については、「Intervals queries」をご参照ください。

• 監査イベントを各ノードのファイルシステム上の <clustername>_audit.json に永続化（インデックスには保存されません）。詳細については、「Enabling audit logging」をご参照ください。

変更点の完全な一覧については、「7.0 の破壊的変更」をご参照ください。

6.x (6.3、6.7、および 6.8)

主な追加機能：

• インデックスあたり 1 つのタイプ；_doc タイプが推奨されます

• V6.6.0 で導入されたインデックスライフサイクル管理 (ILM) — インデックスの運用負荷を軽減します

• 履歴データのロールアップ — 履歴データの要約および圧縮を実行します。詳細については、「Historical data rollup」をご参照ください。

• V6.3 以降でサポートされる Elasticsearch SQL（X-Pack コンポーネント）— SQL ステートメントをドメイン特化言語 (DSL) に変換し、学習コストを削減します。詳細については、「Elasticsearch SQL」をご参照ください。

• Composite、Parent、Weighted Avg 集約関数をサポート。詳細については、「Composite」、「Parent」、「Weighted Avg」をご参照ください。

変更点の完全な一覧については、「6.0 の破壊的変更」をご参照ください。

5.x (5.5 および 5.6)

主な追加機能：

• インデックスあたり複数のタイプ；カスタムタイプをサポート

• STRING データ型を TEXT および KEYWORD に置き換え

• index の値を not_analyzed/no から true/false に変更

• DOUBLE を FLOAT に置き換え、ストレージコストを削減

• Java High Level REST Client が Transport Client を置き換え

変更点の完全な一覧については、「5.0 の破壊的変更」をご参照ください。