Kluster Elasticsearch menangani proses indexing dan pencarian pada node yang sama, sehingga kapasitas kluster harus diukur berdasarkan throughput penulisan puncak meskipun traffic tulis bersifat bursty atau tidak dapat diprediksi. Kluster Alibaba Cloud Elasticsearch Edisi Kernel-enhanced dengan Indexing Service memindahkan seluruh operasi tulis ke layanan cloud terkelola, sehingga sumber daya kluster Anda dapat fokus sepenuhnya pada pencarian. Berdasarkan arsitektur read/write splitting, Indexing Service menyediakan indexing ber-throughput tinggi dan latensi rendah dengan biaya hanya sebagian kecil dibandingkan menjalankan workload berat-tulis pada kluster standar.
Indexing Service tersedia di wilayah China (Hong Kong). Pantau terus ketersediaannya di wilayah lain.
Kasus penggunaan
Indexing Service dirancang untuk analisis data time series dengan transaksi tulis per detik (TPS) tinggi, fluktuasi traffic tulis signifikan, dan permintaan per detik (QPS) rendah. Workload tipikal meliputi:
-
Pengambilan dan analisis log
-
Pemantauan dan analisis metrik
-
Pengumpulan, pemantauan, dan analisis data perangkat keras Internet of Things (IoT) cerdas
Sinkronisasi data antara kluster Edisi Kernel-enhanced dengan Indexing Service yang diaktifkan dan kluster Anda bergantung pada tugas apack/cube/metadata/sync. Jalankan GET _cat/tasks?v untuk memeriksa status tugas tersebut. Jangan menghapus tugas ini secara manual. Jika tugas tersebut dihapus, jalankan POST /_cube/meta/sync untuk segera memulihkannya guna mencegah gangguan pada operasi tulis data.
Cara kerja
Kluster Elasticsearch tradisional menangani indexing dan pencarian pada node yang sama, sehingga throughput tulis sangat terikat pada kapasitas kluster. Ketika terjadi lonjakan traffic tulis, seluruh kluster terdampak—termasuk latensi pencarian.
Indexing Service memisahkan kedua fungsi tersebut:
-
Jalur tulis: Indexing Service menerima seluruh traffic tulis dan memproses indexing dalam lingkungan write-hosting khusus.
-
Jalur baca: Kluster Anda menangani kueri pencarian terhadap data yang telah direplikasi dari lingkungan write-hosting.
Arsitektur ini menghilangkan kebutuhan untuk mengukur kapasitas kluster berdasarkan throughput tulis puncak. Indexing Service menyediakan dan menskalakan sumber daya tulis di latar belakang, sementara kluster Anda fokus pada performa pencarian.
Tiga teknologi utama mendukung lingkungan write-hosting:
| Teknologi | Deskripsi |
|---|---|
| Replikasi fisik indeks | Mereplikasi data pada level segmen secara real-time antar kluster, sehingga kluster write-hosting dan kluster Anda tetap sinkron. |
| Pemisahan komputasi dan penyimpanan | Memisahkan komputasi tulis dari penyimpanan, memungkinkan penskalaan independen untuk setiap lapisan. |
| faster-bulk | Optimasi kernel Alibaba Cloud yang secara signifikan mempercepat throughput bulk indexing. |
Manfaat
| Manfaat | Detail |
|---|---|
| Biaya rendah | Sumber daya komputasi untuk operasi tulis berkurang rata-rata 60%. Bayar berdasarkan volume tulis aktual, bukan kapasitas puncak. |
| Penskalaan elastis | Sumber daya tulis diskalakan secara otomatis sesuai fluktuasi traffic. Tidak diperlukan migrasi data. |
| Tanpa Operasi dan Pemeliharaan (O&M) | Indexing Service mengelola seluruh operasi tulis di cloud, sehingga menghilangkan beban manajemen kluster terkait operasi tulis. |
| Performa tinggi | Optimasi tulis tingkat profesional melalui replikasi fisik, pemisahan komputasi-penyimpanan, dan faster-bulk. |
| Latensi rendah | Replikasi fisik lintas kluster pada level segmen menjaga latensi data dalam kondisi tulis jenuh pada kisaran ratusan milidetik. |
| Ketersediaan tinggi | Dukungan pemulihan bencana geografis melalui backup multi-kluster lintas wilayah. Jika suatu kluster gagal, alihkan indeks ke kluster lain yang berfungsi untuk hosting. |
Penagihan
Indexing Service mengenakan biaya hosting tulis, yang terdiri dari:
-
Biaya trafik tulis: Berdasarkan volume trafik tulis ke lingkungan hosting tulis.
-
Biaya penyimpanan: Berdasarkan storage space yang digunakan untuk hosting.
Biaya hosting tulis berlaku terlepas dari apakah kluster Anda menggunakan penagihan subscription atau pay-as-you-go. Untuk detail harga, lihat penagihan Elasticsearch.
Indexing Service mengurangi sumber daya yang diperlukan untuk menangani operasi tulis di kluster Anda, sehingga menurunkan biaya kluster secara keseluruhan.
Batasan
Indexing Service memberlakukan batasan pada throughput tulis, jumlah dokumen, dan konfigurasi indeks.
Batasan tingkat kluster
Batasan ini bersifat mutlak. Melebihi batas akan mengembalikan HTTP 429.
| Item | Batas | Error saat dilampaui |
|---|---|---|
| Traffic tulis | 200 MB/s | Inflow Quota Exceed. Untuk meminta batas yang lebih tinggi, ajukan Tiket |
| Dokumen yang ditulis per detik | 200.000 docs/s | Write QPS Exceed. Untuk mengajukan batas yang lebih tinggi, ajukan Tiket |
| Permintaan Put Mapping | 50 TPS | PutMappingRequest blocked. |
Permintaan Put Mapping yang sering mengonsumsi sumber daya komputasi signifikan dan dapat memengaruhi stabilitas layanan hosting. Definisikan templat indeks sebelum menulis data untuk meminimalkan operasi Put Mapping.
Batasan tingkat shard
Batasan ini bersifat lunak. Jika batas tercapai, layanan tetap berjalan tetapi kualitas tidak dapat dijamin.
| Item | Batas lunak | Kode error |
|---|---|---|
| Traffic tulis (tanpa primary key) | 10 MB/s per shard | write_size blocked |
| Traffic tulis (dengan primary key) | 5 MB/s per shard | write_size blocked |
| Dokumen yang ditulis per detik | 5.000 docs/s per shard | — |
| Shard per indeks | 300 shard | — |
Batasan konfigurasi
Indexing Service secara otomatis mengelola parameter berikut. Konfigurasi sisi klien untuk parameter ini tidak berlaku.
| Parameter | Nilai default | Catatan |
|---|---|---|
index.refresh_interval |
30s |
Dikonfigurasi otomatis oleh Indexing Service. |
index.translog.durability |
async |
Diatur ke async untuk mengaktifkan penulisan translog asinkron. |
index.merge.policy.max_merged_segment |
1024mb |
Dikonfigurasi otomatis. |
index.translog.flush_threshold_size |
2gb |
Dikonfigurasi otomatis. |
index.translog.sync_interval |
100s |
Dikonfigurasi otomatis. |
Batasan tingkat indeks
| Item | Batas |
|---|---|
Parameter freeze siklus hidup |
Tidak dapat dimodifikasi dalam siklus hidup indeks. |
| Operasi shrink | Indeks yang di-host tidak kompatibel dengan operasi shrink dalam Index Lifecycle Management (ILM). Lakukan operasi shrink hanya ketika indeks tidak sedang di-host. Lihat Shrink. |
| Pembatalan hosting otomatis | Hosting dinonaktifkan secara otomatis 3 hari setelah indeks di-host. Ubah durasi ini agar sesuai dengan kebutuhan siklus hidup data Anda. |
| Pra-pemrosesan Ingest Node | Saat menggunakan Ingest Node untuk memproses dokumen sebelum indexing, pra-pemrosesan dijalankan di kluster Anda, bukan di lingkungan hosting. Hindari logika pemrosesan yang sangat kompleks dalam konfigurasi ini. Untuk detailnya, lihat Ingest Node. |
Pengujian performa
Hasil berikut membandingkan performa tulis antara Edisi Kernel-enhanced dengan Indexing Service dan kluster Edisi Standar dengan spesifikasi perangkat keras yang identik.
Hasil ini didasarkan pada Lingkungan pengujian dan set data yang dijelaskan di bawah. Performa aktual bergantung pada karakteristik data, konfigurasi indeks, dan pola workload Anda.
Lingkungan pengujian
Hasil pengujian
| Spesifikasi (3 node data) | Edisi kluster | Write TPS | Delay visibilitas tulis |
|---|---|---|---|
| 2 core, 8 GB | Edisi Standar | 24.883 | 5 detik |
| 2 core, 8 GB | Edisi Kernel-enhanced dengan Indexing Service | 226.649 | 6 detik |
| 4 core, 16 GB | Edisi Standar | 52.372 | 5 detik |
| 4 core, 16 GB | Edisi Kernel-enhanced dengan Indexing Service | 419.574 | 6 detik |
| 8 core, 32 GB | Edisi Standar | 110.277 | 5 detik |
| 8 core, 32 GB | Edisi Kernel-enhanced dengan Indexing Service | 804.010 | 6 detik |
Peningkatan performa vs Edisi Standar
| Spesifikasi (3 node) | Peningkatan Write TPS |
|---|---|
| 2 core, 8 GB | 910% |
| 4 core, 16 GB | 801% |
| 8 core, 32 GB | 729% |