Object Storage Service：Bagaimana cara mengunggah objek lebih besar dari 5 GB ke OSS?

Metode pengunggahan

OSS memungkinkan Anda mengunggah objek dengan ukuran mulai dari 0 byte hingga 48,8 TB ke dalam bucket. Anda dapat menggunakan metode pengunggahan berbeda untuk meningkatkan efisiensi saat mengunggah objek besar atau beberapa objek sekaligus. Metode ini membantu dalam skenario berikut:

• Objek yang ingin diunggah lebih besar dari 5 GB dan tidak dapat diunggah menggunakan konsol OSS, unggah sederhana, unggah formulir, atau unggah tambahan.

• Objek yang ingin diunggah lebih kecil dari 5 GB, tetapi terjadi timeout koneksi atau koneksi terputus karena performa jaringan yang buruk.

Metode 1: Unggah Multipart atau Unggah Berkelanjutan

Unggah multipart dan unggah berkelanjutan cocok untuk skenario berikut:

• Objek besar: Objek yang ingin diunggah lebih besar dari 5 GB.

• Pengunduhan streaming: Anda ingin mulai mengunggah objek dalam skenario di mana ukuran objek masih belum pasti, misalnya, dalam aplikasi perekaman video cloud untuk pemantauan video.

• Koneksi jaringan buruk: Unggah berkelanjutan direkomendasikan ketika performa jaringan buruk. Unggah berkelanjutan memungkinkan Anda mengunggah hanya bagian-bagian yang gagal diunggah, sehingga lebih efisien dalam skenario di mana pengunggahan sering terganggu karena Anda tidak perlu mengunggah ulang bagian yang sudah diunggah sebelum gangguan.

• Akselerasi pengunggahan: Ketika objek yang ingin diunggah besar, Anda dapat mengunggah bagian-bagian objek secara paralel untuk mempercepat proses pengunggahan.

Untuk informasi lebih lanjut, lihat Unggah Multipart dan Unggah Berkelanjutan.

Metode 1: ossbrowser

Perhatikan hal-hal berikut saat menggunakan ossbrowser untuk mengunggah objek:

• Anda dapat menggunakan Token Layanan Keamanan (STS) untuk masuk ke ossbrowser.

• Untuk menggunakan fitur kebijakan sederhana, Anda harus masuk ke ossbrowser menggunakan pasangan AccessKey dari pengguna RAM yang memiliki izin konfigurasi RAM.

• Saat mengunggah sejumlah besar objek, Anda dapat menambah jumlah tugas unggah untuk mengurangi waktu yang diperlukan.

• Secara default, ossbrowser menggunakan unggah multipart dan unggah berkelanjutan untuk mengunggah objek. Ukuran objek yang ingin diunggah tidak boleh melebihi 48,8 TB.

Untuk informasi lebih lanjut, lihat Gunakan ossbrowser.

Metode 3: ossutil

Perhatikan hal-hal berikut saat menggunakan ossutil untuk mengunggah objek:

• Anda dapat menggunakan perintah cp di ossutil untuk mengunggah objek besar.

• Anda dapat mengonfigurasi opsi --bigfile-threshold untuk menentukan ambang batas ukuran di atas mana unggah berkelanjutan digunakan.

• Saat mengunggah satu atau lebih objek besar, Anda dapat mengonfigurasi opsi -jobs dan -parallel untuk mengontrol jumlah tugas bersamaan demi performa pengunggahan optimal.

• Jika Anda ingin mengunggah beberapa objek sekaligus, Anda dapat menggunakan ossutil dan ossimport.

• Jika jumlah objek yang ingin diunggah sekaligus sedikit, kami sarankan menggunakan ossutil.

Untuk informasi lebih lanjut, lihat Unggah objek.

Pemecahan Masalah

Berikut adalah deskripsi tentang masalah umum yang mungkin Anda temui saat mengunggah objek besar dan cara memecahkan masalah tersebut:

• Panggilan ke operasi PutObject gagal mengunggah objek. Hal ini dapat disebabkan oleh faktor-faktor berikut:

  • Objek yang ingin diunggah lebih besar dari 5 GB. Gunakan ossutil untuk mengunggah objek dalam beberapa bagian.

  • Tidak ada respons yang diterima untuk permintaan mengunggah objek yang lebih besar dari 5 GB menggunakan PutObject dan terjadi kesalahan timeout. Hal ini mungkin karena unit transmisi maksimum (MTU) diatur pada nilai besar. Anda dapat menjalankan netstat -i pada instance Elastic Compute Service (ECS) untuk menanyakan nilai MTU saat ini. Gambar berikut menunjukkan bahwa MTU default untuk kartu antarmuka jaringan internal dan eksternal adalah 1500.

    • Ubah MTU ke nilai yang lebih kecil. Misalnya, Anda dapat menjalankan ip link set dev eth0 mtu 1470 di Linux untuk mengubah MTU untuk eth0 pada gambar di atas menjadi 1470.

    • Gunakan operasi MultipartUpload atau alat ossutil.

• Objek besar tidak dapat diunggah dalam beberapa bagian secara bersamaan.

  • Jika Anda menggunakan ossutil untuk mengunggah objek besar, Anda dapat menentukan opsi --bigfile-threshold, -jobs, dan -parallel untuk mengunggah objek secara bersamaan.

  • Jika Anda menggunakan operasi MultipartUpload dari API OSS atau SDK OSS, tulis kode untuk mengunggah objek secara bersamaan. Beberapa SDK OSS memungkinkan Anda mengontrol jumlah utas bersamaan menggunakan parameter, seperti taskNum di SDK OSS untuk Java atau num_threads di SDK OSS untuk Python.