Elasticsearch:Fitur

8.17

V8.17 menjadi fondasi bagi Vector Enhanced Edition, yang mengintegrasikan layanan model sehingga Anda dapat membangun aplikasi AI search dan memanggil layanan model AI eksternal. Fitur BBQ mengurangi biaya memori lebih dari 10 kali lipat dibandingkan penyimpanan vektor padat standar.

Penambahan utama:

• Better binary quantization (BBQ) untuk vektor padat — Mengompresi indeks vektor hingga 32 kali lipat, secara signifikan mengurangi penggunaan memori. Ini merupakan fitur inti dari Vector Enhanced Edition. Lihat What's new in 8.17.

• Inference API mencapai GA — API stabil untuk mengintegrasikan layanan model eksternal ke dalam pipeline pencarian Anda. Lihat Inference APIs.

• Fusi peringkat timbal balik (RRF) mencapai GA — Menggabungkan peringkat recall teks dan vektor tanpa perlu penyetelan skor manual. Lihat RRF.

• Mode indeks logsdb mencapai GA — Mengurangi penyimpanan indeks log hingga 3 kali lipat dibandingkan mode indeks default. Lihat Logs data stream.

• Model built-in Elastic Rerank — Model reranking semantik yang meningkatkan relevansi hasil sebagai tahap kedua setelah hasil pencarian leksikal atau vektor. Berguna untuk aplikasi RAG di mana Anda memerlukan konteks paling relevan yang dikirim ke model bahasa besar. Lihat Elastic Rerank.

• Kompresi zstd untuk kodek `best_compression` — Mengurangi penyimpanan hingga 12% dan meningkatkan throughput tulis hingga 14%.

• Penyempurnaan ES|QL — Dukungan pencarian teks penuh ditambahkan ke Elasticsearch Query Language (ES|QL). Lihat ES|QL.

Untuk daftar lengkap perubahan, lihat What's new in 8.17 dan What's new in 8.16.

8.15

V8.15 berfokus pada efisiensi vector search dan pengambilan multimodal. Jika Anda memerlukan indeks vektor terkuantisasi INT8 atau INT4, atau pipeline pencarian hibrida dengan reranking, mulailah dari versi ini.

Penambahan utama:

• INT8_HNSW sebagai algoritma vektor default — Menggantikan HNSW sebagai default untuk vektor padat, dengan kuantisasi INT8 diaktifkan secara default. Kuantisasi INT4 juga didukung, menghemat hingga 8 kali lipat memori dibandingkan indeks float32. Tipe vektor bit kini tersedia. Lihat dense-vector.

• Penggabungan indeks INT8 yang dipercepat SIMD — Meningkatkan performa penggabungan indeks terkuantisasi INT8 sekitar 3 kali lipat pada arsitektur AArch64.

• Fase rerank dan API text_similarity_reranker — Menambahkan fase rerank ke pencarian sehingga Anda dapat menerapkan model rerank sebagai tahap kedua. Lihat text-similarity-reranker-retriever.

• Sintaks kueri retriever untuk pencarian multimodal — Sintaks terpadu untuk menggabungkan berbagai strategi pengambilan. Lihat retriever.

• Tipe bidang `semantic_text` — Menyederhanakan penyiapan pencarian semantik dengan menangani konfigurasi inferensi di tingkat bidang. Lihat semantic-text.

• Kueri `sparse_vector` menggantikan `text_expansion` — Sintaks terbaru untuk kueri vektor jarang. Lihat query-dsl-sparse-vector-query.

• API `query_rules` mencapai GA — API stabil untuk menerapkan aturan kueri pada hasil pencarian. Lihat query-rules-apis.

• Dukungan bidang nested untuk pengurutan indeks — Urutkan indeks berdasarkan bidang nested. Lihat index-modules-index-sorting.

• Mode indeks `logsdb` — Tersedia untuk workload logging yang memerlukan penyimpanan efisien. Lihat logs-data-stream.

• Lucene 9.11 — Meningkatkan performa kueri dan efisiensi memori. Lihat Apache Lucene 9.11.0.

Untuk daftar lengkap perubahan, lihat What's new in 8.15 dan What's new in 8.14.

8.13

V8.13 secara signifikan memperluas vector search: dimensi lebih besar, memori lebih rendah melalui kuantisasi skalar, akselerasi SIMD, serta dukungan yang lebih baik untuk pengindeksan dokumen chunked dan integrasi model eksternal.

Penambahan utama:

• Dimensi vektor maksimum ditingkatkan menjadi 4.096 — Naik dari 2.048. Lihat 4096 dimension dense vector.

• Kuantisasi skalar untuk indeks vektor — Mengurangi penggunaan memori indeks vektor sekitar 75%. Lihat Understanding scalar quantization in Lucene.

• Tipe `sparse_vector` — Dukungan untuk vektor jarang bersama vektor padat. Lihat Sparse vector.

• Paralelisasi kueri tingkat shard — Eksekusi kueri paralel dalam satu shard untuk agregasi dan pencarian lebih cepat. Lihat Query parallelization.

• Vektor nested — Memecah dokumen besar menjadi chunk dan mengindeks setiap chunk secara terpisah, memungkinkan pengambilan vektor per-chunk. Lihat Multiple results from the same doc with nested vectors.

• Learning To Rank (LTR) — Menyusun ulang hasil kueri menggunakan model pembelajaran mesin selama fase restore. Lihat Learning To Rank.

• Inference API untuk layanan model eksternal — Panggil endpoint model ML (machine learning) eksternal langsung dari kueri Elasticsearch Anda. Lihat Inference APIs.

• Dukungan SIMD untuk kueri vektor — Pencarian vektor yang dipercepat perangkat keras menggunakan instruksi single instruction, multiple data (SIMD). Lihat Accelerating vector search with SIMD instructions.

Untuk daftar lengkap perubahan, lihat What's new in 8.13.

8.9

V8.9 memperkenalkan blok bangunan dasar vector search: ELSER untuk pencarian semantik sparse, peringkat hibrida dengan RRF, dan kueri k-nearest neighbors (k-NN) multi-bidang.

Penambahan utama:

• Peringkat hibrida teks dan vektor dengan RRF — Menggabungkan hasil recall teks dan recall vektor menggunakan fusi peringkat timbal balik, tanpa normalisasi skor manual. Lihat RRF.

• Dimensi vektor maksimum ditingkatkan menjadi 2.048 — Lihat Increase max number of vector dims to 2048.

• Performa pencarian vektor brute-force yang ditingkatkan — Lihat Improve brute force vector search speed.

• Banyak bidang dalam kueri k-NN — Jalankan pencarian k-NN di beberapa bidang vektor dalam satu kueri. Lihat Allow more than one KNN search clause.

• Model built-in ELSER — Elastic Learned Sparse EncodeR (ELSER) adalah model pencarian semantik sparse yang berjalan secara native di Elasticsearch tanpa layanan inferensi eksternal. Lihat ELSER inference integration.

• Penjadwalan model Pemrosesan bahasa alami (NLP) terdistribusi — Jadwalkan dan kelola alokasi model NLP di seluruh node. Lihat Make native inference generally available.

• Performa tulis yang ditingkatkan untuk operasi primary key — Lihat Optimize primary keys.

• Kueri bidang keyword konstan lebih cepat — Shard dilewati saat mengkueri bidang keyword konstan. Lihat Skip shards when querying constant keyword fields.

• Data stream deret waktu (TSDS) dan downsampling — Simpan dan downsample metrik deret waktu secara efisien. Lihat TSDS dan Downsample.

• Memori teks mentah berkurang — ThreadLocal dihapus dari penanganan teks mentah. Lihat Remove uses of deprecated LeafReader.

Untuk daftar lengkap perubahan, lihat What's new in 8.9.

8.5

V8.5 menambahkan dukungan dasar vector search melalui k-NN berbasis HNSW dan memperkenalkan peningkatan performa serta keamanan.

Penambahan utama:

• Pencarian kemiripan vektor berbasis HNSW — Algoritma Hierarchical Navigable Small World (HNSW) untuk pencarian tetangga terdekat aproksimasi. Lihat kNN search.

• Data stream deret waktu (TSDS) — Lihat TSDS.

• Kueri geo_grid — Kueri dokumen berdasarkan sel grid geospasial. Lihat Geo-grid query.

• Konfigurasi keamanan yang disederhanakan — Keamanan diaktifkan secara otomatis pada kluster baru. Lihat Start the Elastic Stack with security enabled automatically.

• Kompresi Lucene yang ditingkatkan — Mengurangi ukuran indeks.

• Kueri rentang lebih cepat — Performa kueri rentang ditingkatkan.

• Bidang runtime `lookup` — Lihat lookup-runtime-fields.

• Agregasi `random_sampler` — Agregasi aproksimasi pada dataset besar menggunakan pengambilan sampel acak. Lihat Random sampler aggregation.

• Memori heap berkurang untuk node master dan data — Konsumsi memori baseline lebih rendah.

• Tipe mapping dihapus — Tipe mapping tidak lagi didukung. Gunakan kompatibilitas RESTful API jika aplikasi Anda bergantung padanya. Lihat rest-api-compatibility.

• Proteksi indeks — Secara default, pengguna elastic hanya dapat membaca data dari indeks Elasticsearch bawaan.

Untuk daftar lengkap perubahan, lihat Breaking changes in 8.5.

7.16

Penambahan utama:

• Pencarian lintas klaster berbasis SQL

• Kebijakan enrich tipe rentang dalam pipeline ingest

• Optimasi cache untuk meningkatkan performa kueri

• Menambahkan dan menghapus indeks dari data stream

• UUID dan nama kluster disertakan dalam log audit

Untuk daftar lengkap perubahan, lihat Breaking changes in 7.16.

7.10

Penambahan utama:

• Kompresi field penyimpanan yang ditingkatkan, mengurangi biaya penyimpanan

• Event Query Language (EQL) untuk deteksi event keamanan. Lihat EQL.

• Default search.max_buckets dinaikkan dari 10.000 menjadi 65.535. Lihat search.max_buckets.

• Kueri case-insensitive melalui parameter case_insensitive. Lihat case_insensitive.

Untuk daftar lengkap perubahan, lihat Breaking changes in 7.10.

7.7

Penambahan utama:

• Jumlah shard default dalam templat indeks diubah dari 5 menjadi 1

• Tipe mapping dihapus — tidak perlu lagi menentukan tipe mapping saat mendefinisikan mapping atau templat indeks. Lihat Removal of mapping types.

• Batas hasil default ditetapkan menjadi 10.000 dokumen per permintaan (track_total_hits). Lihat track_total_hits.

• Batas shard default per node data ditetapkan menjadi 1.000 (cluster.max_shards_per_node). Lihat Cluster shard limit.

• Batas konteks scroll default ditetapkan menjadi 500 (search.max_open_scroll_context). Lihat Scroll search context.

• Pemicu circuit breaker induk aktif pada 95% memori heap JVM (indices.breaker.total.use_real_memory), menggunakan penggunaan memori aktual alih-alih ambang batas tetap. Lihat Circuit breaker.

• Bidang _all dihapus, meningkatkan performa pencarian

• Kueri interval didukung — mencari dan mengembalikan dokumen berdasarkan urutan dan kedekatan kata kunci yang cocok. Lihat Intervals queries.

• Event audit disimpan ke <clustername>_audit.json pada sistem file setiap node (tidak disimpan dalam indeks). Lihat Enabling audit logging.

Untuk daftar lengkap perubahan, lihat Breaking changes in 7.0.

6.x (6.3, 6.7, dan 6.8)

Penambahan utama:

• Satu tipe per indeks; tipe _doc direkomendasikan

• Manajemen siklus hidup indeks (ILM) diperkenalkan di V6.6.0 untuk mengurangi overhead operasional indeks

• Rollup data historis untuk meringkas dan mengompresi data historis. Lihat Historical data rollup.

• Elasticsearch SQL (komponen X-Pack) didukung di V6.3 dan seterusnya — mengonversi pernyataan SQL ke domain-specific language (DSL), mengurangi kurva pembelajaran. Lihat Elasticsearch SQL.

• Fungsi agregasi Composite, Parent, dan Weighted Avg didukung. Lihat Composite, Parent, dan Weighted Avg.

Untuk daftar lengkap perubahan, lihat Breaking changes in 6.0.

5.x (5.5 dan 5.6)

Penambahan utama:

• Banyak tipe per indeks; tipe kustom didukung

• Tipe data STRING diganti oleh TEXT dan KEYWORD

• Nilai bidang index diubah dari not_analyzed/no menjadi true/false

• DOUBLE diganti oleh FLOAT untuk mengurangi biaya penyimpanan

• Java High Level REST Client menggantikan Transport Client

Untuk daftar lengkap perubahan, lihat Breaking changes in 5.0.