Mesin penyimpanan hibrida cerdas OpenStore adalah mesin penyimpanan log yang elastis, efisien, dan berbiaya rendah yang dikembangkan oleh tim Alibaba Cloud Elasticsearch untuk skenario log. Mesin ini menerapkan metode penagihan bayar sesuai pemakaian berdasarkan jumlah data aktual yang disimpan, sehingga menghilangkan kebutuhan untuk memesan kapasitas penyimpanan kluster sebelumnya dan memberikan pengalaman penyimpanan dengan arsitektur tanpa server yang sesungguhnya. Mesin ini meningkatkan arsitektur pemisahan data panas dan dingin tradisional dengan menyederhanakan ingesti data kluster serta menurunkan biaya penyimpanan untuk volume data besar di cloud. Topik ini menjelaskan skenario, arsitektur, keunggulan, dan metrik kinerja mesin penyimpanan hibrida cerdas OpenStore.
Fitur ini saat ini tersedia di Wilayah Tiongkok (Hong Kong). Dukungan untuk wilayah lain akan segera tersedia.
Informasi latar belakang
Dalam skenario pengamatan log yang komprehensif, data sering kali perlu disimpan dalam jangka panjang atau diarsipkan untuk keperluan audit karena persyaratan bisnis atau regulasi. Saat menggunakan Elasticsearch sumber terbuka, Anda harus memisahkan data panas dan dingin dalam kluster. Data yang berusia lebih dari 30 hari biasanya disimpan pada media penyimpanan lain, seperti Object Storage Service (OSS), melalui snapshot kluster untuk arsip jangka panjang. Namun, data yang telah diarsipkan tidak dapat langsung dikueri. Sebelum melakukan kueri, Anda harus memanggil API untuk memulihkan snapshot ke kluster dan menunggu indeks dalam snapshot diinisialisasi. Proses ini rumit dan mengakibatkan biaya penyimpanan jangka panjang yang tinggi.
Mesin penyimpanan OpenStore merupakan fitur penting dari edisi tingkat lanjut Alibaba Cloud Elasticsearch 7.10. Mesin ini bekerja sama dengan layanan tulis terkelola Indexing Service untuk memenuhi kebutuhan penulisan berbiaya rendah dengan konkurensi tinggi serta penyimpanan data jangka panjang dalam skenario log. Anda dapat membuat instans edisi tingkat lanjut versi 7.10 sesuai kebutuhan dan mengaktifkan fitur penyimpanan hibrida cerdas OpenStore.
Pada halaman Basic Information instans, buka bagian Node Visualization. Di bagian ini, Anda dapat memeriksa apakah fitur OpenStore diaktifkan, mengaktifkannya, serta melihat informasi penyimpanan OpenStore. Untuk informasi selengkapnya, lihat Lihat status kluster dan informasi node.
Instans Indexing Service dengan OpenStore yang diaktifkan menggunakan layanan penyimpanan dasar yang menjamin ketersediaan data tinggi bagi kluster. Instans ini tidak mendukung pencadangan otomatis.
Keunggulan
Penyimpanan masif: Menyediakan penyimpanan arsitektur tanpa server dengan metode bayar sesuai pemakaian. Anda tidak perlu merencanakan atau membeli kapasitas penyimpanan sebelumnya. Penggunaan penyimpanan dihitung per jam, sehingga mencapai pemanfaatan sumber daya penyimpanan 100%.
Biaya rendah: Mendukung modifikasi real-time dan pembaruan tulis. Anda tidak perlu mengonfigurasi siklus hidup indeks yang rumit. Data secara otomatis ditiering, sehingga mudah digunakan. Harga satuan untuk penyimpanan data 60% lebih rendah dibandingkan disk SATA lokal dan 70% lebih rendah dibandingkan disk ultra.
Ketersediaan tinggi: Arsitektur disagregasi penyimpanan-komputasi memungkinkan beberapa replika berbagi satu salinan data tanpa menambah biaya penyimpanan. Layanan penyimpanan dasar menjamin ketersediaan data tinggi bagi kluster dan menyediakan ketahanan data sebesar 99,9999999999% (dua belas angka 9).
Peningkatan kinerja kueri: Untuk analisis kueri umum dalam skenario log khas, kinerjanya 100% lebih baik dibandingkan disk SATA lokal dan sebanding dengan disk ultra atau SSD Perusahaan PL0 (ESSD).
Batasan
Batasan berikut berlaku saat Anda membeli dan menggunakan penyimpanan OpenStore.
Kategori | Batasan |
Wilayah | Saat ini hanya tersedia di wilayah-wilayah berikut (tergantung pada yang ditampilkan di Konsol):
|
Versi instans | Hanya instans versi 7.10 yang mendukung fitur penyimpanan hibrida cerdas OpenStore. |
Tipe instans | Hanya tipe instans OpenStore storage-optimized 8-core 64 GB dan 16-core 64 GB yang didukung. |
Kapasitas penyimpanan instans | Kapasitas penyimpanan maksimum untuk satu node adalah 30 TB. Catatan Jika Anda memerlukan kapasitas penyimpanan yang lebih besar untuk satu node, ajukan tiket untuk mengajukan permintaan tersebut. Kapasitas maksimum yang didukung adalah 50 TB. |
Jumlah replika shard | Saat penyimpanan hibrida cerdas OpenStore diaktifkan, jumlah replika shard harus 1 atau lebih. Peringatan Beberapa replika berbagi satu salinan data tanpa menambah biaya penyimpanan. Beberapa replika menjamin keandalan tulis dipercepat ke penyimpanan lokal. Jika Anda tidak mengonfigurasi beberapa replika, sebagian data tulis real-time mungkin hilang. Data yang hilang tidak dapat dipulihkan. |
Template indeks |
Catatan Saat Anda menghapus indeks penyimpanan OpenStore secara manual, Anda harus menghapus indeks tersebut beserta alias yang sesuai agar penghapusan indeks berhasil. |
Konfigurasi siklus hidup indeks | Menyesuaikan aksi freeze dalam siklus hidup indeks tidak didukung. |
Batasan query |
|
Batas shard kluster | Disarankan kurang dari 80.000. |
Batas shard node | Disarankan kurang dari 3.000. |
Ukuran shard tunggal | Disarankan kurang dari 40 GB. |
Throughput tulis disk data | 300 MB/detik jika penggunaan disk data di bawah 85%. 100 MB/detik jika penggunaan disk data di atas 85%. |
Skenario
Mesin penyimpanan OpenStore yang dikembangkan oleh Alibaba Cloud Elasticsearch cocok untuk skenario seperti pengambilan log dan analisis metrik yang memerlukan penulisan data volume besar dan penyimpanan jangka panjang, serta dapat mentolerir QPS kueri rendah dan latensi kueri yang relatif tinggi.
Mesin penyimpanan hibrida cerdas ini juga cocok untuk skenario bisnis yang memerlukan pembaruan data real-time dan tidak memiliki pemisahan ketat antara data panas dan dingin.
Arsitektur penyimpanan hibrid
Arsitektur ini memiliki keunggulan berikut:
Disagregasi penyimpanan-komputasi: Dibandingkan dengan arsitektur pemisahan data panas dan dingin, arsitektur ini lebih lanjut memisahkan sumber daya komputasi dan penyimpanan. Hal ini menghilangkan kebutuhan untuk mengelola kapasitas penyimpanan, menyediakan penyimpanan elastis dan penagihan bayar sesuai pemakaian, serta memanfaatkan prinsip cloud-native untuk mengoptimalkan skalabilitas kluster. Pendekatan ini secara signifikan meningkatkan kecepatan migrasi dan pemulihan indeks, sehingga ideal untuk skenario data berskala besar.
Kemudahan penggunaan: Menyediakan manajemen siklus hidup indeks yang sepenuhnya otomatis. Anda hanya perlu mengonfigurasi siklus hidup indeks yang sederhana. Mesin ini mengelola seluruh proses pemisahan data panas dan dingin serta migrasi data ke penyimpanan OpenStore.
Konsistensi data: Mesin penyimpanan hibrida cerdas menggunakan protokol konsistensi penyimpanan hibrida berbasis Raft untuk menjamin konsistensi data di berbagai media penyimpanan. Mesin ini secara otomatis melakukan tiering data dan akselerasi cache tanpa intervensi pengguna serta mendukung pembaruan data real-time.
Pengujian kinerja
Lingkungan Pengujian
Set data: Set data dari skenario log.
Konfigurasi kluster: Konfigurasi yang sama digunakan untuk skenario log khas:
Jumlah Node: 10
Jumlah Shard: 108
Kondisi Query:
Tipe Query: sort
Jumlah Dokumen: 3.800.000.000
Hasil Pengujian
Kelas penyimpanan
Waktu query
Disk SATA lokal
Lebih dari 30 detik
Ultra disk
12,229 detik
Penyimpanan OpenStore
15,841 detik
Kesimpulan pengujian:
Dengan konfigurasi kluster yang sama, waktu kueri untuk data log yang disimpan di OpenStore jauh lebih rendah dibandingkan data pada disk SATA lokal dan hampir setara dengan disk ultra. Dari segi harga, harga satuan penyimpanan OpenStore sekitar 60% lebih rendah dibandingkan disk ultra. Selain itu, penyimpanan OpenStore menerapkan metode penagihan bayar sesuai pemakaian, sehingga Anda tidak perlu membeli kapasitas penyimpanan sebelumnya. Penggunaan penyimpanan OpenStore dapat membantu Anda mengurangi biaya secara signifikan.
Metrik terkait
Metrik | Data |
Latensi akses (cache lokal hit) | 0,2 ms |
Latensi akses (cache lokal miss) | 50 ms hingga 400 ms |
Throughput akses (cache lokal hit) | 1 GB/s |
Throughput akses (cache lokal miss) | 750 MB/s |
Skenario | Data yang jarang diakses seperti log pemantauan, pesanan historis, dan data arsip |