ikhtisar volume strmvol - Container Service for Kubernetes

Anda dapat menggunakan volume strmvol untuk memasang data Object Storage Service (OSS) melalui perangkat blok virtual. Solusi ini meningkatkan kinerja baca dalam skenario dengan sejumlah besar objek OSS yang dipasang.

Ikhtisar solusi

OSS mendukung penyimpanan data dalam jumlah besar dan metode penagihan bayar sesuai pemakaian, serta menyediakan fitur akses berbasis protokol HTTP yang nyaman. Dalam skenario terkontainerisasi, sistem file FUSE biasanya digunakan untuk memasang data OSS. Untuk skenario membaca file kecil, Anda dapat menggunakan solusi perangkat blok virtual untuk memasang data OSS sebagai volume strmvol.

Volume strmvol memungkinkan akses data OSS melalui perangkat blok virtual. Solusi ini mengatasi hambatan kinerja di lapisan perantara FUSE dan memungkinkan akses langsung ke lapisan driver penyimpanan untuk mempercepat proses data. Solusi ini ideal untuk skenario yang memerlukan eksplorasi cepat jutaan file kecil, seperti memuat set data pelatihan AI dan menganalisis data deret waktu.

Fitur solusi yang menggunakan FUSE

Solusi ini menggunakan sistem file FUSE, seperti ossfs. Fitur-fiturnya meliputi:

Perubahan data di server OSS dapat dideteksi. Jika caching metadata dinonaktifkan, perubahan data berlaku secara real-time.
Operasi tulis didukung, termasuk informasi tambahan sistem file seperti ID grup (gid) dan ID pengguna (uid).
Permintaan baca dan tulis diarahkan melalui lapisan FUSE. Skenario dengan permintaan puncak tinggi, seperti menjelajahi banyak file kecil, menghasilkan overhead kinerja yang signifikan.
Pada versi sebelumnya Plugin Antarmuka Penyimpanan Kontainer (CSI), klien ossfs berjalan sebagai proses pada node tempat ia berada. Pada versi saat ini plugin CSI, klien ossfs berjalan sebagai pod terpisah di kluster. Pod pada node yang sama dan volume persisten (PV) berbagi klien ossfs yang sama untuk akses OSS.

Fitur solusi perangkat blok virtual

Solusi ini didasarkan pada perangkat blok virtual tingkat rendah dan sistem file kernel-state, seperti Enhanced Read-Only File System (EROFS). Fitur-fiturnya meliputi:

Selama inisialisasi, semua metadata file di bawah target pemasangan Bucket OSS diambil dan diindeks. Versi saat ini tidak mendukung sinkronisasi data untuk server OSS selama waktu proses.
Dalam skenario hanya-baca, penguraian informasi tambahan untuk objek OSS tidak didukung.
Overhead kinerja di lapisan FUSE dihilangkan. Ukuran memori yang telah ditentukan sebelumnya digunakan sebagai medium penyimpanan data untuk mempercepat pra-pengambilan dalam skenario membaca file kecil.
Selain plugin CSI, solusi ini memerlukan DaemonSet tambahan bernama strmvold untuk mengelola perangkat blok virtual pada node. Setelah perangkat terpasang pada node, sumber daya node yang telah ditentukan sebelumnya digunakan untuk caching data.

Skenario

Jika bisnis Anda memenuhi persyaratan berikut, Anda dapat menggunakan solusi perangkat blok virtual (volume strmvol).

Catatan

Solusi yang menggunakan FUSE cocok untuk sebagian besar skenario. Untuk informasi lebih lanjut, lihat Pasang volume ossfs 1.0 yang disiapkan secara statis, Pasang volume OSS yang disiapkan secara dinamis menggunakan ossfs 1.0, dan Gunakan volume ossfs 2.0.

Data disimpan di Bucket OSS dan tidak perlu diperbarui selama operasi bisnis.
Bisnis Anda tidak sensitif terhadap informasi tambahan dari sistem file.
Skenario hanya-baca, terutama yang melibatkan banyak file kecil atau pembacaan acak.

Cara menggunakan volume strmvol

Sebelum menggunakan volume strmvol, Anda harus menginstal komponen strmvol-csi-driver di halaman Marketplace di Konsol Container Service for Kubernetes (ACK). Setelah menerapkan strmvol-csi-driver, sumber daya berikut akan dibuat.

Nama sumber daya	Tipe sumber daya	Fitur
strmvold	DaemonSet	Mengelola perangkat blok virtual pada node.
strmvol-csi-plugin	DaemonSet	Mengimplementasikan pemasangan dan pelepasan volume strmvol.
strmvol-csi-provisioner	Deployment	Mengimplementasikan pembuatan volume strmvol secara dinamis.