OpenStore Storage Engine (Log Analytics) adalah mesin penyimpanan log arsitektur tanpa server yang dikembangkan oleh tim Alibaba Cloud Elasticsearch untuk skenario log. Mesin ini mendukung metode penagihan pay-as-you-go berdasarkan volume data aktual yang disimpan, sehingga Anda tidak perlu memesan kapasitas penyimpanan kluster terlebih dahulu. OpenStore melampaui arsitektur pemisahan data hot-cold tradisional, mengurangi kompleksitas ingest data kluster dan menekan biaya penyimpanan data dalam jumlah besar di cloud.
OpenStore Storage Engine (Log Analytics) saat ini tersedia di wilayah China (Hong Kong). Dukungan untuk wilayah lain akan segera hadir.
Informasi latar belakang
Dalam skenario observabilitas log, kebutuhan bisnis atau regulasi sering kali mewajibkan retensi data jangka panjang atau pengarsipan untuk audit. Dengan Elasticsearch open source, Anda harus memisahkan data hot dan cold di dalam kluster serta menyimpan data berusia 30 hari atau lebih di media penyimpanan lain, seperti Object Storage Service (OSS), menggunakan snapshot kluster. Pendekatan ini memungkinkan pengarsipan data log jangka panjang, tetapi Anda tidak dapat langsung melakukan kueri terhadap data yang tersimpan tersebut. Sebelum melakukan kueri, Anda harus memanggil operasi API terkait untuk memulihkan snapshot ke kluster dan menunggu indeks dalam snapshot menyelesaikan inisialisasi. Akibatnya, proses kueri menjadi rumit dan biaya penyimpanan jangka panjang tinggi.
OpenStore merupakan fitur penting dari Alibaba Cloud Elasticsearch Edisi Kernel-enhanced 7.10. Dikombinasikan dengan layanan Indexing Service yang dikelola, OpenStore memberikan operasi write berbiaya rendah dengan konkurensi tinggi serta retensi data jangka panjang untuk skenario log. Anda dapat membuat kluster Edisi Kernel-enhanced 7.10 sesuai kebutuhan dan mengaktifkan OpenStore Storage Engine (Log Analytics).
Di bagian Node Visualization pada halaman Basic Information kluster Anda, Anda dapat memeriksa apakah OpenStore telah diaktifkan, mengaktifkan OpenStore, serta melihat informasi penyimpanan OpenStore. Untuk informasi selengkapnya, lihat View cluster status and node information.
Jika kluster Anda telah mengaktifkan OpenStore dan Indexing Service, layanan penyimpanan dasar menjamin ketersediaan data tinggi untuk kluster tersebut. Oleh karena itu, Anda tidak dapat mengonfigurasi Auto Snapshot.
Manfaat
Penyimpanan skala besar — OpenStore menggunakan penagihan penyimpanan arsitektur tanpa server. Anda tidak perlu merencanakan atau membeli kapasitas penyimpanan terlebih dahulu. Penggunaan penyimpanan data aktual dihitung per jam, dan pemanfaatan resource penyimpanan mencapai 100%.
Biaya rendah — Data dapat dimodifikasi secara real time dan mendukung pembaruan saat write. Anda tidak perlu mengonfigurasi siklus hidup indeks yang kompleks, dan tiering data dilakukan secara otomatis, sehingga kurva pembelajaran tetap rendah. Harga satuan penyimpanan data 60% lebih rendah dibandingkan disk SATA lokal dan 70% lebih rendah dibandingkan disk ultra.
Ketersediaan tinggi (HA) — Dengan arsitektur disagregasi storage-compute, beberapa replika berbagi satu salinan data tanpa biaya penyimpanan tambahan. Layanan penyimpanan dasar menjamin ketersediaan data tinggi untuk kluster dan memberikan daya tahan data hingga 99,9999999999% (dua belas angka sembilan).
Peningkatan performa kueri — Untuk tugas kueri dan analisis umum dalam skenario log khas, performa meningkat 100% dibandingkan disk SATA lokal dan setara dengan disk ultra atau ESSD PL0.
Batasan
Batasan berikut berlaku saat Anda membeli dan menggunakan penyimpanan OpenStore.
Kategori | Deskripsi |
Wilayah | OpenStore hanya tersedia di wilayah-wilayah berikut. Wilayah yang benar-benar tersedia ditampilkan di Konsol:
|
Versi kluster | 9.4.0、8.17.0、7.10. |
Spesifikasi kluster | Hanya spesifikasi penyimpanan OpenStore 8-core 64 GB dan 16-core 64 GB yang didukung. |
Kapasitas penyimpanan kluster | Kapasitas penyimpanan data maksimum per node adalah 30 TB. Catatan Jika Anda memerlukan kapasitas penyimpanan per node yang lebih besar, submit a ticket untuk mengajukan permohonan. Kapasitas maksimum 50 TB didukung. |
Jumlah replika shard | Saat Anda mengaktifkan OpenStore Storage Engine (Log Analytics), jumlah replika shard harus lebih besar dari atau sama dengan 1. Peringatan Beberapa replika berbagi satu salinan data tanpa biaya penyimpanan tambahan, dan menjamin keandalan akselerasi write penyimpanan lokal. Jika Anda tidak mengonfigurasi beberapa replika, sebagian data yang ditulis secara real time mungkin hilang dan tidak dapat dipulihkan. |
Templat indeks |
Catatan Untuk menghapus indeks OpenStore secara manual, Anda harus menghapus indeks tersebut bersama alias yang sesuai. Jika tidak, penghapusan akan gagal. |
Konfigurasi siklus hidup indeks | Anda tidak dapat menyesuaikan freeze dalam siklus hidup indeks. |
Batasan kueri |
|
Batas shard kluster | (Disarankan) Kurang dari 80.000 shard per kluster. |
Batas shard node | (Disarankan) Kurang dari 3.000 shard per node. |
Ukuran per shard | (Disarankan) Kurang dari 40 GB per shard. |
Throughput write disk data | 300 MB/s ketika penggunaan disk data aktual di bawah 85%; 100 MB/s ketika penggunaan disk data aktual 85% atau lebih tinggi. |
Skenario
OpenStore Storage Engine (Log Analytics) dikembangkan oleh Alibaba Cloud Elasticsearch. Mesin ini cocok untuk skenario seperti pengambilan log dan analisis metrik yang memerlukan penulisan dan penyimpanan data dalam jumlah besar dalam jangka panjang. Skenario-skenario ini juga memiliki QPS kueri yang rendah dan toleransi yang relatif tinggi terhadap latensi kueri.
OpenStore juga cocok untuk skenario bisnis yang memerlukan pembaruan data real time dan tidak memiliki pemisahan data hot-cold yang ketat.
Arsitektur penyimpanan hibrida
OpenStore Storage Engine (Log Analytics) menggunakan arsitektur penyimpanan hibrida dengan disagregasi storage-compute. Prinsip desain arsitekturnya dan manfaat intinya—seperti disagregasi storage-compute, konsistensi data, kemudahan penggunaan, dan ketersediaan tinggi—sama dengan mesin penyimpanan OpenStore. Untuk informasi selengkapnya, lihat topik mesin penyimpanan OpenStore di direktori yang sama.
Pengujian performa
Lingkungan pengujian
Set data: Set data dari skenario log.
Spesifikasi kluster: Semua kluster menggunakan konfigurasi yang sama untuk skenario log, yaitu:
Jumlah node: 10
Jumlah shard: 108
Kondisi kueri:
Jenis kueri: sort
Jumlah dokumen: 3.800.000.000
Hasil pengujian
Jenis penyimpanan
Waktu kueri
Local SATA disk
Lebih dari 30 detik
Ultra disk
12,229 detik
OpenStore storage
15,841 detik
Kesimpulan pengujian:
Dengan konfigurasi kluster yang sama, kueri terhadap data log yang disimpan di OpenStore membutuhkan waktu jauh lebih singkat dibandingkan kueri terhadap data yang disimpan di disk SATA lokal. Waktu kueri tersebut kira-kira sama dengan data yang disimpan di disk ultra. Harga satuan penyimpanan OpenStore sekitar 60% lebih rendah dibandingkan penyimpanan disk ultra. OpenStore juga menggunakan metode penagihan pay-as-you-go, sehingga Anda tidak perlu membeli kapasitas penyimpanan terlebih dahulu. Oleh karena itu, penyimpanan OpenStore dapat mengurangi biaya Anda.