Memasang bucket OSS ke sistem file lokal pada berbagai sistem operasi menggunakan s3fs, goofys, dan Rclone - Object Storage Service

Topik ini menjelaskan cara memasang bucket Object Storage Service (OSS) ke sistem file lokal di berbagai sistem operasi menggunakan s3fs, goofys, dan Rclone. Dengan demikian, Anda dapat melakukan operasi pada objek OSS seperti pada file lokal serta memungkinkan berbagi data.

Prerequisites

Pengguna Resource Access Management (RAM) telah dibuat dan pasangan AccessKey telah diperoleh. Untuk informasi selengkapnya, lihat Create a RAM user.
Izin sistem atau izin kustom telah diberikan kepada pengguna RAM.
- Izin sistem: Anda dapat menyambungkan kebijakan AliyunOSSFullAccess ke pengguna RAM agar pengguna tersebut dapat mengelola OSS, atau menyambungkan kebijakan AliyunOSSReadOnlyAccess agar pengguna hanya dapat mengakses objek OSS.
- Izin kustom: Anda dapat memberikan izin kustom kepada pengguna RAM untuk menerapkan kontrol izin OSS detail halus berdasarkan skenario bisnis. Untuk informasi selengkapnya, lihat Common examples of RAM policies.

s3fs

s3fs dapat digunakan untuk memasang bucket OSS ke sistem file lokal di Linux atau macOS. Setelah bucket OSS dipasang ke sistem file lokal, Anda dapat melakukan operasi pada objek OSS seperti pada file lokal serta memungkinkan berbagi data. Untuk informasi selengkapnya tentang s3fs, kunjungi GitHub. Untuk informasi tentang cara menangani masalah yang mungkin Anda temui saat menggunakan s3fs untuk memasang bucket OSS ke sistem file lokal, lihat FAQ.

Key features

Mendukung sebagian besar fitur sistem file POSIX. Misalnya, Anda dapat mengunggah dan mengunduh objek serta direktori, serta mengonfigurasi tautan simbolik dan izin pengguna.
Mendukung fitur penulisan acak (random write) dan memungkinkan Anda menambahkan data ke objek yang sudah ada.
Tidak mendukung hard link.
Mengunggah objek besar menggunakan unggah multi-bagian (multipart upload).
Menggunakan file lokal sebagai cache.

Penting

Saat Anda menggunakan s3fs untuk mengunggah atau mengunduh objek, objek tersebut harus di-cache secara lokal. Kecepatan unduh atau unggah bergantung pada performa baca/tulis disk. Ukuran cache lokal dapat terus bertambah tanpa batas. Kami menyarankan agar Anda membersihkan cache lokal secara berkala.

Procedure

Untuk memasang bucket OSS ke sistem file lokal menggunakan s3fs, lakukan langkah-langkah berikut:

Instal s3fs.

Item berikut memberikan contoh cara menjalankan perintah untuk menginstal s3fs di Ubuntu, CentOS, dan macOS. Untuk informasi selengkapnya tentang cara menjalankan perintah instalasi s3fs di sistem operasi lain, kunjungi Installation.

Ubuntu
```
sudo apt install s3fs 
```

CentOS

sudo yum install epel-release 
sudo yum install s3fs-fuse

Mac

brew install --cask macfuse 
brew install gromgit/fuse/s3fs-mac

Konfigurasikan informasi akun yang digunakan untuk mengakses bucket.

Simpan pasangan AccessKey yang dapat digunakan untuk mengakses bucket dalam file /.passwd-s3fs.
```
echo ACCESS_KEY_ID:ACCESS_KEY_SECRET > ${HOME}/.passwd-s3fs
```
Atur izin file /.passwd-s3fs menjadi 600.
```
chmod 600 ${HOME}/.passwd-s3fs
```
Mount bucket.
1. Jalankan perintah berikut untuk membuat titik pemasangan:
```
mkdir /tmp/oss-bucket
```
2. Jalankan perintah berikut untuk memasang bucket examplebucket di wilayah China (Hangzhou) ke /tmp/oss-bucket:
```
s3fs examplebucket /tmp/oss-bucket -o passwd_file=$HOME/.passwd-s3fs -ourl=http://oss-cn-hangzhou.aliyuncs.com
```
  Catatan
  - Jika instance Elastic Compute Service (ECS) berada di wilayah yang sama dengan bucket OSS, Anda dapat menggunakan titik akhir internal oss-cn-hangzhou-internal.aliyuncs.com untuk mengakses bucket OSS dari instance ECS. Untuk informasi selengkapnya, lihat Regions and endpoints.
  - Untuk informasi selengkapnya tentang parameter yang didukung oleh s3fs, kunjungi Options.

goofys

goofys memungkinkan Anda memasang bucket ke sistem file lokal di Linux atau macOS. goofys hanya mendukung fitur-fitur tertentu dari POSIX. Untuk informasi selengkapnya, kunjungi GitHub.

Key features

Hanya mendukung fitur penulisan berurutan (sequential write).
Tidak menyimpan izin dan atribut objek.
Tidak mendukung tautan simbolik dan hard link.
Waktu pembuatan (ctime), waktu akses (atime), dan waktu modifikasi (mtime) bernilai sama.
Tidak bergantung pada cache lokal.

Operasi pada metadata objek tidak didukung. Dalam skenario tertentu yang bergantung pada metadata objek, goofys memiliki batasan penggunaan.

Dibandingkan dengan s3fs, goofys tidak bergantung pada cache lokal. Dalam hal ini, goofys memiliki performa baca-tulis yang lebih baik pada operasi seperti cp dan mv. Untuk informasi selengkapnya, kunjungi Benchmark.

Penulisan acak (random write) tidak didukung. goofys lebih cocok untuk skenario read-only.

Anda dapat menggunakan goofys sesuai dengan kebutuhan bisnis Anda.

Procedure

Untuk memasang bucket OSS ke sistem file lokal menggunakan goofys, lakukan langkah-langkah berikut:

Instal goofys.

Item berikut memberikan contoh cara menjalankan perintah untuk menginstal goofys di Linux dan macOS. Untuk informasi selengkapnya tentang cara menjalankan perintah instalasi goofys di sistem operasi lain, kunjungi Installation.

Linux

curl -SL "https://github.com/kahing/goofys/releases/latest/download/goofys" -o $HOME/goofys
chmod u+x $HOME/goofys

Mac

brew cask install osxfuse
brew install goofys

Konfigurasikan informasi akun yang digunakan untuk mengakses bucket.
1. Jalankan perintah berikut untuk membuat file konfigurasi:
```
mkdir ~/.aws
```
2. Jalankan perintah berikut untuk membuka file konfigurasi:
```
vi ~/.aws/credentials
```
3. Tentukan pasangan AccessKey. Pasangan AccessKey terdiri dari ID AccessKey dan Rahasia AccessKey.
```
[default]
aws_access_key_id =  ID AccessKey yang digunakan untuk mengakses OSS. 
aws_secret_access_key = Rahasia AccessKey yang digunakan untuk mengakses OSS.
```
Mount bucket.

Pada contoh berikut, bucket examplebucket di wilayah China (Hangzhou) dipasang ke /mnt/oss-bucket.
1. Jalankan perintah berikut untuk membuat titik pemasangan:
```
mkdir /mnt/oss-bucket
```
2. Jalankan perintah berikut untuk memasang bucket examplebucket ke /mnt/oss-bucket:
```
$HOME/goofys --endpoint http://oss-cn-hangzhou.aliyuncs.com --subdomain examplebucket /mnt/oss-bucket
```
  Catatan
  - Opsi --subdomain pada contoh di atas diperlukan untuk mengaktifkan nama domain virtual. Opsi lain, seperti bucket yang ingin Anda pasang, titik akhir wilayah tempat bucket berada, dan titik pemasangan, dapat disesuaikan berdasarkan kebutuhan Anda.
  - Jika instance ECS berada di wilayah yang sama dengan bucket OSS, Anda dapat menggunakan titik akhir internal oss-cn-hangzhou-internal.aliyuncs.com untuk mengakses bucket OSS dari instance ECS.

Rclone

Rclone adalah program baris perintah yang digunakan untuk mengelola data di cloud dan mendukung sinkronisasi data di lebih dari 50 layanan penyimpanan cloud. Rclone memungkinkan Anda memasang bucket ke sistem file lokal di Windows. Dengan demikian, Anda dapat menggunakan bucket seperti halnya menggunakan disk lokal untuk berbagi data.

Key features

Mendukung sinkronisasi file, transfer file, enkripsi file, dan pemasangan bucket.
Memungkinkan Anda memasang bucket ke sistem file lokal di berbagai sistem operasi, serta menyediakan layanan menggunakan berbagai protokol.

Untuk informasi selengkapnya, kunjungi Rclone: Menyinkronkan File Anda ke Penyimpanan Cloud.

Procedure

Untuk memasang bucket OSS ke sistem file lokal di Windows menggunakan Rclone, lakukan langkah-langkah berikut:

Ikuti petunjuk di layar untuk mengunduh dan menginstal Winfsp.

Pada contoh ini, winfsp-1.12.22339 diunduh. Untuk mengunduh winfsp-1.12.22339, kunjungi WinFsp 2023t.
Unduh Rclone.

Pada contoh ini, rclone-v1.60.1-windows-amd64 diunduh. Untuk mengunduh rclone-v1.60.1-windows-amd64, kunjungi Downloads. Rclone adalah program baris perintah. Setelah paket instalasi diunduh, Anda hanya perlu mengekstraknya ke direktori lokal, misalnya D:\Rclone.
Konfigurasikan Rclone.
1. Tambahkan D:\Rclone ke variabel lingkungan.
2. Buka antarmuka baris perintah (CLI), masukkan rclone --version, lalu tekan Enter.
  
  Jika muncul rclone 1.60.1, berarti Rclone telah terinstal.
3. Masukkan perintah rclone config, lalu tekan Enter.
4. Masukkan n, tekan Enter, lalu buat remote baru.
  Pada contoh ini, remote baru diberi nama oss-remote.
5. Pada prompt name>, masukkan nama untuk remote tersebut, misalnya oss-remote, lalu tekan Enter.
6. Pilih opsi yang berisi Amazon S3 Compliant Storage atau masukkan 5, lalu tekan Enter.
7. Pilih opsi yang berisi Alibaba Cloud Object Storage System (OSS) atau masukkan 2, lalu tekan Enter.
8. Setelah env_auth> ditampilkan di CLI, tekan Enter.
9. Setelah access_key_id> ditampilkan di CLI, masukkan ID AccessKey yang digunakan untuk mengakses OSS, lalu tekan Enter.
10. Setelah secret_access_key> ditampilkan di CLI, masukkan Rahasia AccessKey yang digunakan untuk mengakses OSS, lalu tekan Enter.
11. Setelah endpoint> ditampilkan di CLI, masukkan titik akhir yang digunakan untuk mengakses OSS, lalu tekan Enter.
  
  Misalnya, jika bucket berada di wilayah China (Hangzhou), atur titik akhir menjadi oss-cn-hangzhou.aliyuncs.com. Jika instance ECS yang menjalankan Windows berada di wilayah yang sama dengan bucket OSS, Anda dapat menggunakan titik akhir internal oss-cn-hangzhou-internal.aliyuncs.com untuk mengakses bucket OSS dari instance ECS.
12. Setelah acl> ditampilkan di CLI, pilih daftar kontrol akses (ACL) objek, lalu tekan Enter.
  
  Opsi ini hanya tersedia untuk objek yang baru diunggah. Anda dapat memilih ACL objek sesuai kebutuhan. Pada contoh ini, angka 1 dimasukkan untuk mengatur ACL objek menjadi default. Nilai default berarti ACL objek bersifat private.
13. Setelah storage_class> ditampilkan di CLI, pilih kelas penyimpanan objek, lalu tekan Enter.
  
  Pada contoh ini, angka 1 dimasukkan untuk mengatur kelas penyimpanan objek menjadi default. Nilai default berarti kelas penyimpanan objek diwariskan dari bucket.
14. Setelah muncul pertanyaan Edit advanced config?(y/n) di CLI, masukkan n lalu tekan Enter.
15. Masukkan q untuk menyelesaikan konfigurasi.
Mount bucket.

Kode contoh berikut menunjukkan cara memasang bucket bernama examplebucket ke drive E: dan menggunakan D:\disk-cache sebagai direktori cache:
```
rclone mount oss-remote:/examplebucket E: --cache-dir D:\disk-cache --vfs-cache-mode writes
```
Jika muncul pesan "The service rclone has been started", berarti examplebucket telah dipasang ke E:. Dalam hal ini, Anda dapat melihat examplebucket(E:).