Mesin penyimpanan OpenStore adalah mesin penyimpanan elastis, berkinerja tinggi, dan hemat biaya yang dikembangkan oleh tim Alibaba Cloud Elasticsearch untuk kasus penggunaan seperti analisis log dan pencarian. Topik ini mencakup arsitektur dan kasus penggunaan mesin penyimpanan OpenStore.
Arsitektur mesin
Arsitektur ini didasarkan pada desain penyimpanan bertingkat dan menyediakan layanan sistem file berkinerja tinggi yang terpadu untuk komponen lapisan atas:
Shard utama/shard replika: Dalam arsitektur OpenStore, shard utama membangun indeks dan mengunggah file segmen yang dihasilkan ke penyimpanan bersama. Shard replika tidak membangun indeks secara independen; melainkan, mereka melakukan sinkronisasi data langsung dari penyimpanan bersama.
NameNode: Pusat manajemen metadata terdistribusi untuk OpenStore. NameNode mengelola metadata terdistribusi seperti topologi kluster dan namespace global, serta menyediakan penjadwalan tugas untuk operasi seperti replikasi data guna memastikan konsistensi di seluruh kluster.
Native Metadata Manager (NMM): Pusat manajemen metadata lokal. NMM mengelola metadata file lokal, seperti panjang file, waktu pembaruan, dan status persistensi. NMM juga menyediakan akses ke sistem file dasar (UFS) untuk operasi atomik seperti memuat dan mempertahankan file.
Shared Data Service: Layanan jarak jauh yang menyediakan penyimpanan bersama dalam skala besar.
Manfaat
Pemisahan penyimpanan dan komputasi: Prinsip desain inti dari mesin penyimpanan OpenStore. Sumber daya komputasi (seperti node Elasticsearch) dan sumber daya penyimpanan (seperti penyimpanan bersama jarak jauh) dapat diskalakan secara independen. Saat permintaan komputasi meningkat, Anda dapat dengan cepat menambahkan node tanpa perlu migrasi data. Saat kebutuhan penyimpanan bertambah, Anda dapat memanfaatkan skalabilitas besar dari penyimpanan bersama jarak jauh. Penguraian keterkaitan ini memungkinkan sumber daya diskalakan secara independen dan elastis.
Konsistensi data: Protokol hibrida berbasis Raft memastikan konsistensi data antara cache lokal dan penyimpanan bersama jarak jauh, sehingga memberikan aplikasi tampilan data yang terpadu dan andal.
Kemudahan penggunaan: Manajemen siklus hidup indeks sepenuhnya otomatis. Anda hanya perlu mengonfigurasi kebijakan siklus hidup indeks yang sederhana, dan engine akan menangani seluruh proses, mulai dari tiering data hingga migrasi data ke penyimpanan OpenStore.
Ketersediaan tinggi: Arsitektur pemisahan penyimpanan-komputasi memungkinkan ketersediaan tinggi dengan memperbolehkan beberapa replika berbagi satu salinan data tanpa biaya penyimpanan tambahan. Layanan dasar menyediakan daya tahan data hingga 99,9999999999% (12 angka sembilan).
Jenis penyimpanan dan kasus penggunaan
Jenis penyimpanan | |
Latensi akses (cache lokal hit) | 0,2 ms |
Latensi akses (cache lokal miss) | 50 ms hingga 400 ms |
Throughput akses (cache lokal hit) | 1 GB/s |
Throughput akses (cache lokal miss) | 750 MB/s |
Kasus penggunaan | Data yang jarang diakses, seperti log pemantauan, pesanan historis, dan data arsip |
Nilai latensi akses yang disebutkan mengacu pada penyimpanan saja, bukan latensi end-to-end.