OpenStore adalah mesin penyimpanan log yang elastis, efisien, dan hemat biaya yang dikembangkan oleh tim Alibaba Cloud Elasticsearch untuk skenario analitik log. Mesin ini menyediakan penyimpanan serverless dengan penagihan pay-as-you-go berdasarkan penggunaan data aktual, sehingga menghilangkan kebutuhan untuk menyediakan kapasitas penyimpanan di muka. OpenStore melampaui pemisahan data panas-dingin tradisional, menyederhanakan ingesti data, dan lebih lanjut mengurangi biaya penyimpanan untuk data cloud berskala besar.
Fitur ini tersedia di wilayah tertentu, termasuk China (Hong Kong).
Latar Belakang
Dalam skenario analitik log dan observabilitas, kebutuhan bisnis atau regulasi sering kali mewajibkan retensi data jangka panjang untuk arsip dan audit. Dengan Elasticsearch open source, pendekatan ini biasanya melibatkan pemisahan data panas-dingin. Data yang berusia lebih dari 30 hari umumnya dipindahkan ke media penyimpanan lain, seperti OSS, menggunakan snapshot kluster. Meskipun pendekatan ini berfungsi untuk arsip jangka panjang, Anda tidak dapat langsung melakukan kueri terhadap data yang diarsipkan. Untuk mengkuerinya, Anda harus terlebih dahulu memulihkan snapshot ke kluster dan menunggu indeks diinisialisasi—proses yang kompleks dan meningkatkan biaya penyimpanan jangka panjang.
OpenStore merupakan fitur utama Alibaba Cloud Elasticsearch 7.10 Kernel-enhanced Edition. Dikombinasikan dengan layanan Indexing Service yang dikelola, OpenStore mendukung penulisan berbiaya rendah dengan konkurensi tinggi serta retensi data jangka panjang untuk analitik log. Anda dapat membuat kluster edisi Kernel-enhanced 7.10 sesuai kebutuhan dan mengaktifkan fitur OpenStore.
-
Anda dapat memeriksa apakah OpenStore telah diaktifkan dan melihat informasi penyimpanannya di bagian Node Visualization pada halaman Basic Information kluster Anda. Untuk informasi selengkapnya, lihat View cluster status and node information.
-
Untuk kluster yang telah mengaktifkan OpenStore dan Indexing Service, layanan penyimpanan dasar menjamin ketersediaan data yang tinggi. Akibatnya, fitur Auto Snapshot tidak didukung.
Manfaat
-
Penyimpanan masif: OpenStore menggunakan model penyimpanan serverless dengan penagihan pay-as-you-go, sehingga menghilangkan kebutuhan perencanaan kapasitas di muka. Anda ditagih per jam berdasarkan penggunaan aktual, mencapai pemanfaatan penyimpanan 100%.
-
Biaya rendah: Data dapat dimodifikasi dan diperbarui secara real time. Tiering data otomatis menghilangkan konfigurasi siklus hidup indeks yang kompleks, menyederhanakan penyiapan awal. Biaya penyimpanan hingga 60% lebih rendah dibandingkan disk SATA lokal dan 70% lebih rendah dibandingkan disk ultra.
-
Ketersediaan tinggi: Arsitektur pemisahan komputasi-penyimpanan memungkinkan beberapa replika berbagi satu salinan data tanpa biaya tambahan. Layanan penyimpanan dasar menjamin ketersediaan data yang tinggi dan memberikan daya tahan hingga 99,9999999999% (dua belas angka sembilan).
-
Kinerja kueri yang lebih baik: Untuk tugas kueri dan analisis analitik log tipikal, kinerja meningkat 100% dibandingkan disk SATA lokal dan setara dengan disk ultra atau ESSD PL0.
Batasan
Batasan berikut berlaku saat Anda membeli dan menggunakan OpenStore.
|
Kategori |
Deskripsi |
|
Wilayah |
OpenStore hanya tersedia di wilayah berikut. Wilayah yang benar-benar tersedia ditampilkan di halaman pembelian.
|
|
Versi kluster |
Hanya kluster Elasticsearch 7.10 Kernel-enhanced Edition yang mendukung OpenStore. |
|
Spesifikasi kluster |
Hanya spesifikasi berikut yang dioptimalkan untuk penyimpanan dan didukung untuk OpenStore: 8-core 64 GB dan 16-core 64 GB. |
|
Kapasitas penyimpanan kluster |
Kapasitas penyimpanan maksimum per node adalah 30 TB. Catatan
Jika Anda memerlukan kapasitas penyimpanan per node yang lebih tinggi, Anda dapat mengajukan tiket untuk mengajukan permohonan hingga 50 TB. |
|
Jumlah replika shard |
Saat Anda mengaktifkan OpenStore, Anda harus mengonfigurasi minimal satu replika per shard. Peringatan
Beberapa replika berbagi satu salinan data tanpa biaya penyimpanan tambahan. Replika menjamin keandalan akselerasi penulisan untuk penyimpanan lokal. Jika Anda tidak mengonfigurasi replika, data yang baru ditulis mungkin hilang dan tidak dapat dipulihkan. |
|
Templat indeks |
Catatan
Untuk menghapus indeks OpenStore secara manual, Anda harus menghapus indeks tersebut beserta alias-nya. |
|
Konfigurasi siklus hidup indeks |
Menyesuaikan aksi |
|
Batasan kueri |
|
|
Batas shard kluster |
Disarankan kurang dari 80.000 shard per kluster. |
|
Batas shard node |
Disarankan kurang dari 3.000 shard per node. |
|
Ukuran per shard |
Disarankan kurang dari 40 GB per shard. |
|
Throughput tulis disk data |
300 MB/s jika penggunaan disk data di bawah 85%. 100 MB/s jika penggunaan disk data 85% atau lebih. |
Kasus Penggunaan
OpenStore ideal untuk skenario yang memerlukan penulisan dan penyimpanan volume data besar dalam jangka panjang, seperti pengambilan log dan analisis metrik. Fitur ini paling cocok untuk beban kerja dengan QPS kueri rendah dan toleransi lebih tinggi terhadap latensi kueri.
Mesin penyimpanan hibrida cerdas ini juga sesuai untuk skenario bisnis yang memerlukan pembaruan data real time tanpa pemisahan data panas-dingin yang ketat.
Arsitektur Penyimpanan Hibrida
Arsitektur ini memberikan manfaat berikut:
-
Pemisahan komputasi-penyimpanan: Berbeda dengan arsitektur pemisahan data panas-dingin tradisional, desain ini lebih lanjut melepaskan sumber daya komputasi dan penyimpanan. Anda tidak perlu lagi mengelola kapasitas penyimpanan. Arsitektur ini menyediakan penyimpanan elastis dengan model pay-as-you-go dan memanfaatkan prinsip cloud-native untuk meningkatkan skalabilitas kluster. Arsitektur ini secara signifikan mempercepat migrasi dan pemulihan indeks, menjadikannya ideal untuk skenario data berskala besar.
-
Kemudahan penggunaan: Dengan manajemen siklus hidup indeks yang sepenuhnya otomatis, Anda hanya perlu mengonfigurasi kebijakan siklus hidup yang sederhana. Mesin ini mengelola pemisahan data panas-dingin dan secara otomatis memigrasikan data ke OpenStore.
-
Konsistensi data: OpenStore menggunakan protokol konsensus berbasis Raft untuk menjamin konsistensi data di berbagai media penyimpanan. Mesin ini secara otomatis menangani tiering data dan akselerasi cache tanpa intervensi pengguna, serta mendukung pembaruan data real time.
Pengujian Kinerja
-
Lingkungan pengujian
-
Set data: Set data dari skenario analitik log tipikal.
-
Spesifikasi kluster: Kluster yang digunakan untuk perbandingan memiliki konfigurasi yang sama, yang dioptimalkan untuk analitik log.
-
Jumlah node: 10
-
Jumlah shard: 108
-
-
Kondisi kueri:
-
Jenis kueri: sort
-
Jumlah dokumen: 3.800.000.000
-
-
-
Hasil pengujian
Jenis penyimpanan
Waktu kueri
Local SATA disk
Lebih dari 30 detik
ultra disk
12,229 detik
OpenStore
15,841 detik
-
Kesimpulan pengujian:
Dengan konfigurasi kluster yang identik, latensi kueri untuk data log pada OpenStore jauh lebih rendah dibandingkan disk SATA lokal dan setara dengan disk ultra. OpenStore sekitar 60% lebih murah per unit dibandingkan disk ultra dan menggunakan penagihan pay-as-you-go, sehingga menghilangkan kebutuhan pembelian kapasitas di muka.
Metrik Terkait
|
Metrik |
Nilai |
|
Latensi akses (local cache hit) |
0,2 ms |
|
Latensi akses (local cache miss) |
50 ms hingga 400 ms |
|
Throughput akses (local cache hit) |
1 GB/s |
|
Throughput akses (local cache miss) |
750 MB/s |
|
Kasus penggunaan |
Data yang jarang diakses, seperti log pemantauan, pesanan historis, dan data arsip |