Object Storage Service:Konfigurasikan direktori temporary lokal untuk mendukung write acak

Informasi latar belakang

Saat sebuah objek dibuat di OSS, objek tersebut tidak dapat dimodifikasi sebagian. Setiap perubahan konten memerlukan penimpaan seluruh objek. Dalam mode default ossfs 2.0, jalur write menggunakan unggah streaming: data diunggah ke OSS secara berurutan sesuai penulisannya, yang memiliki keterbatasan berikut:

• Hanya write berurut yang didukung. Panggilan pwrite pada posisi di luar akhir file tidak didukung.

• truncate hanya mendukung pemotongan ke ukuran 0. Pemotongan ke ukuran non-nol lainnya mengembalikan ENOTSUP.

• File tidak dapat dibaca selama proses penulisan (sebelum ditutup). Melakukannya akan mengembalikan EBUSY.

Skenario seperti eksekusi kode Agen AI, penyuntingan skrip in-place, dan hasil antara komputasi ilmiah umumnya bergantung pada semantik write acak. Fitur write acak ossfs 2.0 menyimpan sementara data yang ditulis di direktori temporary lokal dan, dikombinasikan dengan manajemen chunk serta unggah inkremental, menerapkan write acak di atas penyimpanan objek.

Mode write acak ossfs 2.0 memiliki karakteristik berikut:

• Semantik write acak POSIX penuh: Mendukung pwrite pada offset arbitrer, O_APPEND, dan truncate ke ukuran apa pun (memperbesar atau memperkecil).

• Read-while-write: File dapat dibaca selama proses penulisan. Bagian yang telah dimodifikasi dibaca dari area staging lokal, sedangkan bagian yang belum dimodifikasi dibaca langsung dari OSS.

• Unggah inkremental: Saat flush atau close, hanya blok data yang dimodifikasi yang diunggah dari disk lokal. Bagian yang tidak dimodifikasi ditangani melalui copy sisi server di OSS, tanpa I/O lokal maupun konsumsi bandwidth unggah.

• Proteksi ruang disk: Anggaran disk global bawaan mengembalikan ENOSPC untuk operasi write ketika ruang disk staging hampir habis. Anda dapat mencadangkan ambang batas ruang bebas saat mount untuk mencegah disk sistem terisi penuh.

Prinsip kerja

Metode konfigurasi

Batasan:

• Jika direktori yang ditunjuk oleh --temp_dir tidak ada, direktori tersebut akan dibuat secara otomatis. Kami merekomendasikan penggunaan partisi atau disk independen untuk menghindari persaingan ruang dengan disk sistem atau workload lain.

• Data untuk file yang sedang ditulis disimpan di direktori temporary lokal. Jika disk kekurangan kapasitas, write mengembalikan ENOSPC. Ruang disk bebas tersisa dikurangi ruang yang dicadangkan oleh temp_dir_free_bytes disebut sebagai ruang disk yang dapat ditulis. ossfs2 hanya menggunakan bagian ruang ini untuk menyimpan data yang sedang ditulis. Ruang disk yang dapat ditulis harus lebih besar daripada total ukuran semua file yang ditulis secara konkuren (dalam kasus terburuk, seluruh file mungkin ditulis secara lokal).

• Ketika beberapa instans ossfs2 dimount pada mesin yang sama, mereka diperbolehkan berbagi direktori temporary yang sama karena nama file staging tidak bentrok. Namun, beberapa instans akan bersaing untuk ruang dan I/O disk, sehingga kami merekomendasikan penggunaan direktori independen.

• --temp_dir dan --enable_appendable_object saling eksklusif dan tidak dapat diaktifkan secara bersamaan.

Contoh perintah mount:

ossfs2 mount /mnt/oss/ \
  --oss_bucket <your-bucket> \
  --oss_endpoint <your-endpoint> \
  --oss_access_key_id <ak> \
  --oss_access_key_secret <sk> \
  --temp_dir /mnt/disk/ossfs2/temp \
  --temp_dir_free_bytes 1G

Persyaratan lingkungan

Dampak fitur

Perbandingan kemampuan write sebelum dan setelah mengaktifkan --temp_dir:

Semantik durabilitas:

• Secara default, mode write acak mengikuti semantik fsync: fsync memicu unggah gabungan modifikasi lokal dengan data di cloud. Pengembalian sukses berarti data telah dipersisten ke OSS. Data yang tersisa juga diunggah saat file ditutup.

• Kegagalan unggah dikembalikan ke aplikasi sebagai error, dan aplikasi dapat mencoba ulang melalui fsync. Jika unggah akhirnya gagal dan file ditutup, data yang belum dipersisten akan hilang, dan konten file kembali ke versi terakhir yang berhasil diunggah di sisi remote.

• Jika proses keluar secara abnormal, data staged yang belum diunggah akan hilang, tetapi objek di OSS tetap dalam kondisi unggah terakhir yang berhasil. Tidak ada objek korup yang dihasilkan.

Rekomendasi penggunaan

Write acak berbasis direktori temporary lokal cocok untuk skenario yang memerlukan semantik write mirip filesystem lokal pada titik mount OSS.

Skenario yang cocok untuk mengaktifkan write acak:

Skenario yang tidak direkomendasikan untuk mengaktifkan write acak:

Rekomendasi anggaran disk:

• Pisahkan direktori temporary dari disk sistem untuk mencegah data staged mengisi penuh disk sistem dan memengaruhi stabilitas host. Jika mesin hanya memiliki satu disk, kami merekomendasikan menetapkan temp_dir_free_bytes ke nilai yang lebih besar (misalnya, 10G) untuk mencadangkan ruang bebas yang cukup bagi sistem.

• Ruang disk yang dapat ditulis (lihat batasan di atas) harus lebih besar daripada total ukuran file yang ditulis secara konkuren.

• Untuk file tunggal yang lebih besar dari 100 GiB, selain secara eksplisit menambah --random_write_max_file_size (misalnya, --random_write_max_file_size=500G), Anda juga perlu memastikan bahwa ruang disk yang dapat ditulis melebihi ukuran file tersebut.