Kluster Elasticsearch menangani proses indexing dan pencarian pada node yang sama, sehingga Anda harus mengukur kapasitas kluster berdasarkan throughput tulis puncak meskipun trafik tulis bersifat bursty atau tidak dapat diprediksi. Kluster Alibaba Cloud Elasticsearch Kernel-enhanced Edition dengan Indexing Service memindahkan seluruh operasi tulis ke layanan cloud terkelola, sehingga sumber daya kluster Anda dapat difokuskan sepenuhnya untuk pencarian. Berdasarkan arsitektur read/write splitting, Indexing Service menyediakan indexing ber-throughput tinggi dan latensi rendah dengan biaya hanya sebagian kecil dibandingkan menjalankan workload berat-tulis pada kluster standar.
Indexing Service tersedia di wilayah China (Hong Kong). Pantau terus ketersediaannya di wilayah lain.
Kasus penggunaan
Indexing Service dirancang untuk analisis data time series dengan transaksi tulis per detik (TPS) tinggi, fluktuasi trafik tulis signifikan, dan permintaan per detik (QPS) rendah. Workload khas meliputi:
Retrieval dan analisis log
Pemantauan dan analisis metrik
Pengumpulan, pemantauan, dan analisis data perangkat keras Internet of Things (IoT) cerdas
Sinkronisasi data antara kluster Edisi Kernel-enhanced dengan Indexing Service yang diaktifkan dan kluster Anda bergantung pada tugas apack/cube/metadata/sync. Jalankan GET _cat/tasks?v untuk memeriksa status tugas tersebut. Jangan menghapus tugas ini secara manual. Jika tugas dihapus, jalankan POST /_cube/meta/sync untuk segera memulihkannya guna menghindari gangguan pada operasi tulis data.
Cara kerja
Kluster Elasticsearch tradisional menangani indexing dan pencarian pada node yang sama, sehingga throughput tulis sangat bergantung pada kapasitas kluster. Saat terjadi lonjakan trafik tulis, seluruh kluster terdampak—termasuk latensi pencarian.
Indexing Service memisahkan kedua fungsi tersebut:
Jalur tulis: Indexing Service menerima seluruh trafik tulis dan memproses indexing di lingkungan write-hosting khusus.
Jalur baca: Kluster Anda menangani kueri pencarian terhadap data yang telah direplikasi dari lingkungan write-hosting.
Arsitektur ini menghilangkan kebutuhan untuk mengukur kapasitas kluster berdasarkan throughput tulis puncak. Indexing Service menyediakan dan menskalakan sumber daya tulis di latar belakang, sementara kluster Anda fokus pada performa pencarian.
Tiga teknologi utama mendukung lingkungan write-hosting:
| Teknologi | Deskripsi |
|---|---|
| Physical replication of indexes | Mereplikasi data pada level segmen secara real-time antar kluster, menjaga sinkronisasi antara kluster write-hosting dan kluster Anda. |
| Separation of compute and storage | Memisahkan komputasi tulis dari penyimpanan, memungkinkan penskalaan independen untuk masing-masing lapisan. |
| faster-bulk | Optimasi kernel Alibaba Cloud yang secara signifikan mempercepat throughput bulk indexing. |
Manfaat
| Manfaat | Detail |
|---|---|
| Biaya rendah | Sumber daya komputasi untuk operasi tulis berkurang rata-rata 60%. Bayar sesuai volume tulis aktual, bukan kapasitas puncak. |
| Elastic scaling | Sumber daya tulis diskalakan secara otomatis mengikuti fluktuasi trafik. Tidak diperlukan migrasi data. |
| Tanpa operasi dan maintenance (O&M) | Indexing Service mengelola seluruh operasi tulis di cloud, menghilangkan beban manajemen kluster terkait operasi tulis. |
| Performa tinggi | Optimasi tulis tingkat profesional melalui physical replication, pemisahan komputasi-penyimpanan, dan faster-bulk. |
| Latensi rendah | Replikasi fisik lintas kluster pada level segmen menjaga latensi data dalam kondisi tulis jenuh pada kisaran ratusan milidetik. |
| Ketersediaan tinggi | Dukungan disaster recovery geografis melalui backup multi-kluster lintas wilayah. Jika suatu kluster gagal, alihkan indeks ke kluster lain yang berfungsi untuk hosting. |
Penagihan
Indexing Service mengenakan biaya hosting tulis, yang terdiri dari:
Biaya trafik tulis: Berdasarkan volume trafik tulis ke lingkungan write-hosting.
Biaya penyimpanan: Berdasarkan storage space yang digunakan untuk hosting.
Biaya hosting tulis berlaku terlepas dari apakah kluster Anda menggunakan penagihan langganan atau pay-as-you-go. Untuk detail harga, lihat penagihan Elasticsearch.
Indexing Service mengurangi sumber daya yang diperlukan untuk menangani operasi tulis di kluster Anda, sehingga menurunkan biaya kluster secara keseluruhan.
Batasan
Indexing Service memberlakukan batasan pada throughput tulis, jumlah dokumen, dan konfigurasi indeks.
Batasan tingkat kluster
Batasan ini bersifat mutlak. Melebihi batas akan mengembalikan HTTP 429.
| Item | Batas | Error saat dilampaui |
|---|---|---|
| Trafik tulis | 200 MB/s | Inflow Quota Exceed. Untuk meminta batas lebih tinggi, submit a ticketsubmit a ticket. |
| Dokumen yang ditulis per detik | 200.000 docs/s | Write QPS Exceed. Untuk meminta batas yang lebih tinggi, ajukan Tiket |
| Permintaan PUT untuk Pemetaan | 50 TPS | PutMappingRequest blocked. |
Permintaan Put Mapping yang sering mengonsumsi sumber daya komputasi signifikan dan dapat memengaruhi stabilitas layanan hosting. Definisikan templat indeks sebelum menulis data untuk meminimalkan operasi Put Mapping.
Batasan tingkat shard
Batasan ini bersifat lunak. Jika batas tercapai, layanan tetap berjalan tetapi kualitas tidak dapat dijamin.
| Item | Batas lunak | Kode error |
|---|---|---|
| Trafik tulis (tanpa primary key) | 10 MB/s per shard | write_size blocked |
| Trafik tulis (dengan primary key) | 5 MB/s per shard | write_size blocked |
| Dokumen yang ditulis per detik | 5.000 docs/s per shard | — |
| Shard per indeks | 300 shard | — |
Batasan konfigurasi
Indexing Service secara otomatis mengelola parameter berikut. Konfigurasi sisi klien untuk parameter ini tidak berlaku.
| Parameter | Nilai default | Catatan |
|---|---|---|
index.refresh_interval | 30s | Dikonfigurasi otomatis oleh Indexing Service. |
index.translog.durability | async | Diatur ke async untuk mengaktifkan penulisan translog asinkron. |
index.merge.policy.max_merged_segment | 1024mb | Dikonfigurasi otomatis. |
index.translog.flush_threshold_size | 2gb | Dikonfigurasi otomatis. |
index.translog.sync_interval | 100s | Dikonfigurasi otomatis. |
Batasan tingkat indeks
| Item | Batas |
|---|---|
Parameter lifecycle freeze | Tidak dapat dimodifikasi dalam siklus hidup indeks. |
| Operasi shrink | Indeks yang di-host tidak kompatibel dengan operasi shrink dalam Index Lifecycle Management (ILM). Lakukan operasi shrink hanya ketika indeks tidak sedang di-host. Lihat Shrink. |
| Pembatalan hosting otomatis | Hosting dinonaktifkan secara otomatis 3 hari setelah indeks di-host. Ubah durasi ini agar sesuai dengan kebutuhan siklus hidup data Anda. |
| Preprocessing Ingest Node | Saat menggunakan Ingest Node untuk memproses dokumen sebelum indexing, preprocessing dijalankan di kluster Anda, bukan di lingkungan hosting. Hindari logika pemrosesan yang sangat kompleks dalam konfigurasi ini. Untuk detailnya, lihat Ingest Node. |
Pengujian performa
Hasil berikut membandingkan performa tulis antara Edisi Kernel-enhanced dengan Indexing Service dan kluster Edisi Standar dengan spesifikasi perangkat keras yang identik.
Hasil ini didasarkan pada Lingkungan pengujian dan set data yang dijelaskan di bawah. Performa aktual bergantung pada karakteristik data, konfigurasi indeks, dan pola workload Anda.
Lingkungan pengujian
Hasil pengujian
| Spesifikasi (3 node data) | Edisi kluster | Write TPS | Write visibility delay |
|---|---|---|---|
| 2 core, 8 GB | Edisi Standar | 24.883 | 5 detik |
| 2 core, 8 GB | Edisi Kernel-enhanced dengan Indexing Service | 226.649 | 6 detik |
| 4 core, 16 GB | Edisi Standar | 52.372 | 5 detik |
| 4 core, 16 GB | Edisi Kernel-enhanced dengan Indexing Service | 419.574 | 6 detik |
| 8 core, 32 GB | Edisi Standar | 110.277 | 5 detik |
| 8 core, 32 GB | Edisi Kernel-enhanced dengan Indexing Service | 804.010 | 6 detik |
Peningkatan performa vs Edisi Standar
| Spesifikasi (3 node) | Peningkatan Write TPS |
|---|---|
| 2 core, 8 GB | 910% |
| 4 core, 16 GB | 801% |
| 8 core, 32 GB | 729% |