Memasang bucket OSS Alibaba Cloud sebagai volume persisten menggunakan ossfs 2.0 - Container Service for Kubernetes

ossfs 2.0 adalah klien FUSE yang memasang bucket OSS sebagai sistem file lokal sehingga kontainer dapat mengakses data OSS melalui operasi POSIX. Fitur ini meningkatkan kinerja I/O berkas kecil secara sekuensial dan dengan konkurensi tinggi dibandingkan ossfs 1.0 untuk beban kerja seperti pelatihan AI, pemrosesan big data, dan kendaraan otonom.

Perbaikan kinerja

ossfs 2.0 menawarkan peningkatan kinerja signifikan dibandingkan ossfs 1.0 dalam operasi baca dan tulis sekuensial serta pembacaan objek kecil dengan konkurensi tinggi. Untuk informasi lebih lanjut mengenai kinerja ossfs 2.0, lihat Pengujian kinerja.

Kinerja tulis sekuensial: Dalam skenario tulis sekuensial objek besar single-threaded, ossfs 2.0 memberikan bandwidth hampir 18 kali lipat dibandingkan ossfs 1.0.
Kinerja baca sekuensial: Dalam skenario baca sekuensial objek besar single-threaded atau multi-threaded (4 thread), ossfs 2.0 memberikan bandwidth lebih dari 3 kali lipat dibandingkan ossfs 1.0.
Kinerja baca objek kecil secara konkuren: Dalam skenario baca objek kecil dengan konkurensi tinggi (128 thread), ossfs 2.0 memberikan bandwidth lebih dari 20 kali lipat dibandingkan ossfs 1.0.

Kasus penggunaan

ossfs 2.0 cocok untuk skenario yang memerlukan akses penyimpanan berkinerja tinggi, seperti pelatihan AI, inferensi, pemrosesan big data, kendaraan otonom, dan beban kerja komputasi-intensif lainnya. Beban kerja ini terutama melibatkan pembacaan sekuensial dan acak, penulisan sekuensial (append-only), serta tidak memerlukan semantik POSIX penuh.

Batasan

Persyaratan izin: AccessKey yang Anda gunakan harus memiliki izin penuh untuk bucket atau awalan target. Izin yang tidak mencukupi dapat menyebabkan operasi mount gagal atau operasi lain berperilaku tidak sesuai harapan.
Batasan kelas penyimpanan: Kami tidak menyarankan memasang bucket dalam kelas Archive Storage, Cold Archive Storage, atau Deep Cold Archive Storage.
Batasan nama objek dan direktori: Nama objek dan direktori dibatasi hingga 255 karakter karena batasan Linux. Objek atau direktori di OSS dengan nama yang melebihi batas ini tidak akan terlihat di titik mount.
Batasan pembacaan objek: ossfs hanya mengunggah objek yang baru ditulis ke OSS setelah handle file terkait ditutup. Membaca objek sebelum handle-nya ditutup dapat menyebabkan error.
Batasan penulisan objek: Penulisan acak dan penulisan konkuren ke objek yang sama tidak didukung. Ukuran part default adalah 8.388.608 byte (8 MiB), yang membatasi ukuran maksimum objek yang dapat ditulis menjadi 83.886.080.000 byte (78,125 GiB). Anda dapat mengonfigurasi ukuran part menggunakan opsi mount upload_buffer_size.
Operasi rename objek (non-atomik)
- Objek: Operasi ini pertama-tama menyalin objek sumber ke tujuan, lalu menghapus objek sumber.
- Direktori: Operasi ini menyalin semua objek di bawah direktori sumber ke tujuan, lalu melakukan penghapusan massal objek sumber. Secara default, operasi rename dibatasi hingga 2 juta objek turunan. Anda dapat mengubah batas ini menggunakan opsi mount rename_dir_limit.
Konsistensi penulisan konkuren: ossfs 2.0 tidak menjamin konsistensi data ketika beberapa klien memasang bucket yang sama dan menulis ke objek yang sama secara konkuren.
Kompatibilitas API POSIX: Kompatibel sebagian. Untuk detailnya, lihat Dukungan API POSIX.

Fitur

Sorotan fitur

Menawarkan kompatibilitas POSIX dasar dan berfokus pada memaksimalkan kinerja baca dan tulis di sisi server OSS.
Memberikan kinerja baca dan tulis sekuensial yang efisien untuk objek besar melalui optimasi end-to-end pada jalur baca dan tulis.
Memungkinkan pemuatan konkuren objek kecil yang efisien melalui manajemen metadata yang dioptimalkan.

Dukungan API POSIX

Tabel berikut membandingkan dukungan API POSIX pada ossfs 1.0 dan ossfs 2.0.

Kategori fitur	Operasi	ossfs 1.0	ossfs 2.0
Operasi objek dasar	`open`	Didukung	Didukung
	`flush`	Didukung	Didukung
	`close`	Didukung	Didukung
Pembacaan dan penulisan objek	`read`	Didukung	Didukung
	`write`	Mendukung penulisan acak (memerlukan disk cache)	Hanya mendukung penulisan sekuensial (tidak memerlukan disk cache)
	`truncate`	Didukung (dapat dipotong ke ukuran apa pun)	Hanya mendukung pemotongan objek hingga panjang nol
Operasi meta objek	`create`	Didukung	Didukung
	`unlink`	Didukung	Didukung
	`rename`	Didukung	Didukung
Operasi direktori	`mkdir`	Didukung	Didukung
	`readdir`	Didukung	Didukung
	`rmdir`	Didukung	Didukung
Izin dan atribut	`getattr`	Didukung	Didukung
	`chmod`	Didukung	Tidak didukung
	`chown`	Didukung	Tidak didukung
	`utimes`	Didukung	Didukung
Fitur tambahan	`setxattr`	Didukung	Tidak didukung
	`symlink`	Didukung	Tidak didukung
	`lock`	Tidak didukung	Tidak didukung

Cara kerja

Klien ossfs 2.0 berjalan sebagai kontainer dalam sebuah Pod di namespace ack-csi-fuse.

Referensi

Gunakan volume persisten ossfs 2.0 statis untuk memasang bucket OSS dengan PV dan PVC.
Gunakan volume persisten ossfs 2.0 dinamis untuk memasang bucket OSS.