ossfs 2.0 adalah klien yang menyediakan akses berkinerja tinggi ke Object Storage Service (OSS) dengan memasangnya sebagai sistem file. OSSFS menghadirkan kinerja baca dan tulis sekuensial yang sangat baik serta memanfaatkan sepenuhnya bandwidth tinggi OSS.
Perbaikan kinerja
ossfs 2.0 memberikan peningkatan kinerja signifikan dibandingkan ossfs 1.0 dalam operasi baca dan tulis sekuensial, serta dalam pembacaan file kecil dengan konkurensi tinggi. Untuk informasi selengkapnya, lihat Performance Testing.
Kinerja tulis sekuensial: Dalam skenario tulis sekuensial file besar single-threaded, ossfs 2.0 menyediakan bandwidth hampir 18 kali lipat dibandingkan ossfs 1.0.
Kinerja baca sekuensial: Dalam skenario baca sekuensial file besar single-threaded atau multi-threaded (4 thread), ossfs 2.0 menyediakan bandwidth lebih dari 3 kali lipat dibandingkan ossfs 1.0.
Kinerja baca file kecil secara konkuren: Dalam skenario baca file kecil dengan konkurensi tinggi (128 thread), ossfs 2.0 menyediakan bandwidth lebih dari 20 kali lipat dibandingkan ossfs 1.0.
Skenario penggunaan
ossfs 2.0 cocok untuk skenario yang memerlukan akses penyimpanan berkinerja tinggi, seperti pelatihan AI, inferensi, pemrosesan big data, kendaraan otonom, dan beban kerja komputasi-intensif lainnya. Beban kerja ini terutama melibatkan operasi baca sekuensial dan acak serta tulis sekuensial (append-only), dan tidak memerlukan semantik POSIX penuh.
Lingkungan runtime
ossfs 2.0 dibangun di atas Filesystem in Userspace (FUSE).
Arsitektur | Sistem operasi | Versi | URL unduhan |
x86_64 | CentOS | CentOS 7, CentOS 8 | |
Alibaba Cloud Linux | Alibaba Cloud Linux 2, Alibaba Cloud Linux 3 | ||
Ubuntu | Ubuntu 20.04 LTS dan versi LTS berikutnya | ||
Debian | Debian 11 dan versi setelahnya | ||
aarch64 | Alibaba Cloud Linux | Alibaba Cloud Linux 3 |
Batasan
Persyaratan izin: AccessKey harus memiliki izin penuh pada bucket atau awalan target. Jika tidak, operasi mount dapat gagal atau menyebabkan perilaku abnormal.
Batasan kelas penyimpanan: Anda tidak dapat memasang bucket yang menggunakan kelas penyimpanan Archive Storage, Cold Archive, atau Deep Cold Archive.
Batasan nama file: Nama file dibatasi hingga 255 karakter karena batasan Linux. File atau folder di OSS yang namanya melebihi batas ini tidak akan terlihat di titik pemasangan.
Batasan pembacaan file: ossfs hanya mengunggah file baru ke OSS setelah handle file terkait ditutup. Membaca file sebelum handle-nya ditutup dapat menyebabkan error.
Batasan penulisan file: Tulis acak dan tulis konkuren ke file yang sama tidak didukung. Ukuran part default adalah 8.388.608 byte (8 MiB). Oleh karena itu, ukuran file maksimum yang didukung adalah 83.886.080.000 byte (78,125 GiB). Anda dapat mengonfigurasi ukuran part menggunakan opsi mount upload_buffer_size.
Operasi rename file (non-atomik)
File: Menyalin file lalu menghapus file remote aslinya.
Folder: Operasi ini pertama-tama menyalin semua file, lalu menghapus file sumber dalam satu operasi massal. Secara default, operasi rename folder dibatasi hingga 2 juta file turunan. Anda dapat mengonfigurasi batas ini menggunakan opsi mount rename_dir_limit.
Konsistensi tulis konkuren: Saat beberapa klien memasang bucket yang sama dan menulis ke file yang sama secara konkuren, konsistensi data tidak dapat dijamin.
Kompatibilitas API POSIX: Kompatibel sebagian. Untuk informasi selengkapnya, lihat Supported POSIX APIs.
Fitur
Fitur
Menawarkan kompatibilitas POSIX dasar dan berfokus pada memaksimalkan kinerja baca dan tulis sisi server OSS.
Menghadirkan kinerja baca dan tulis sekuensial yang efisien untuk file besar melalui optimasi end-to-end pada jalur baca dan tulis.
Memungkinkan pemuatan konkuren file kecil yang efisien melalui manajemen metadata yang dioptimalkan.
Memungkinkan pemasangan otomatis bucket OSS saat startup dengan mengonfigurasi fstab.
Dukungan API POSIX
Tabel berikut membandingkan dukungan API POSIX pada ossfs 1.0 dan ossfs 2.0.
Kategorisasi | Operasi/fitur | ossfs 1.0 | ossfs 2.0 |
Operasi file dasar |
| ||
| |||
| |||
Baca dan tulis file |
| ||
| Supports random writes (requires a disk cache) | Supports only sequential writes (no disk cache required) | |
| (File size is adjustable) | Only supports truncating a file to zero length | |
Operasi meta berkas |
| ||
| |||
| |||
Operasi folder |
| ||
| |||
| |||
Izin dan properti |
| ||
| |||
| |||
| |||
Fitur tambahan |
| ||
| |||
|