ossfs memasang bucket Alibaba Cloud Object Storage Service (OSS) sebagai sistem file lokal, sehingga Anda dapat mengelola data OSS menggunakan operasi sistem file standar.
Peningkatan versi
Untuk aplikasi modern seperti pelatihan AI, inferensi, dan simulasi kendaraan otonom, kami merekomendasikan penggunaan ossfs 2.0, terutama sebagai alternatif penggunaan OSS SDK atau Mempercepat Pelatihan Model Menggunakan OSS Connector untuk AI/ML.
ossfs 2.0 menyediakan fitur-fitur berikut:
Menyediakan kompatibilitas dasar POSIX dengan fokus pada pemanfaatan kemampuan baca-tulis sisi server OSS.
Memberikan operasi baca-tulis sekuensial berkinerja tinggi untuk file besar melalui optimisasi jalur I/O end-to-end.
Mencapai pemuatan konkuren yang efisien untuk file kecil berkat manajemen metadata yang dioptimalkan.
ossfs
Berdasarkan filesystem in userspace (FUSE), ossfs memasang bucket OSS sebagai sistem file lokal di Linux. Fitur-fitur yang didukung antara lain:
Mendukung sebagian besar fitur standar sistem file POSIX, seperti mengunggah dan mengunduh file serta direktori, serta mengatur izin pengguna.
Secara default menggunakan fitur unggah multi-bagian dan unggah yang dapat dilanjutkan dari OSS.
Mendukung verifikasi MD5 untuk menjamin integritas data.
Prasyarat
ossfs dibangun di atas FUSE dan hanya dapat dijalankan pada mesin yang mendukung FUSE. ossfs menyediakan paket instalasi untuk Ubuntu, CentOS, dan Alibaba Cloud Linux. Untuk menjalankan ossfs di lingkungan lain, Anda harus membangunnya dari source.
Linux
CentOS 7.0 atau versi lebih baru.
Ubuntu 20.04 atau versi lebih baru.
Alibaba Cloud Linux 2 atau versi lebih baru.
FUSE 2.8.4 atau versi lebih baru
Anda dapat menjalankan perintah
fusermount -Vuntuk memeriksa versi FUSE Anda. Jika output menunjukkan versi fusermount 2.8.4 atau lebih baru (misalnya, fusermount version: 2.9.2), maka versi FUSE Anda memenuhi persyaratan.
Batasan
Penggunaan ossfs untuk memetakan bucket remote ke sistem file lokal memiliki batasan-batasan berikut:
Tidak cocok untuk beban kerja baca-tulis campuran yang sangat konkuren.
CatatanPada ossfs, pembacaan acak dan semua operasi tulis harus melakukan flush data ke disk. Pada beban kerja baca-tulis campuran yang sangat konkuren, kinerja disk menjadi bottleneck baik untuk operasi baca maupun tulis.
Pada ossfs, permintaan baca dan tulis konkuren saling berebut sumber daya, yang berdampak pada bandwidth.
Tautan keras (hard links) tidak didukung.
Jangan memasang bucket yang menggunakan kelas penyimpanan Archive, Cold Archive, atau Deep Cold Archive.
Mengedit file menyebabkan ossfs mengunggah ulang seluruh file tersebut.
Operasi metadata, seperti
list directory, berkinerja buruk karena memerlukan akses jarak jauh ke server OSS.Mengganti nama file atau direktori dapat gagal, yang berpotensi menyebabkan ketidakkonsistenan data.
Jika beberapa klien memasang bucket OSS yang sama dan menulis ke file yang sama secara bersamaan, konsistensi data tidak dijamin.
Pastikan AccessKey Anda memiliki izin penuh atas sumber daya di bucket target atau di bawah awalan target. Jika Anda tidak dapat memberikan izin penuh, Anda harus memberikan setidaknya izin
oss:GetObject,oss:ListObjects,oss:DeleteObject,oss:PutObject,oss:AbortMultipartUpload, danoss:ListMultipartUploads. Jika tidak, proses mount ossfs dapat gagal atau berperilaku tidak sesuai harapan.
Langkah selanjutnya
Sebelum memasang bucket ke sistem Linux lokal menggunakan ossfs, Anda harus Instal ossfs 1.0 dan Konfigurasikan ossfs 1.0. Setelah instalasi dan konfigurasi selesai, Anda dapat Memasang bucket ke sistem Linux lokal.