Object Storage Service:Bagaimana cara mengunggah objek besar ke OSS?

Metode pengunggahan

Anda dapat mengunggah objek berukuran 0 byte hingga 48,8 TB ke OSS. Metode pengunggahan alternatif tersedia untuk mengunggah objek besar atau beberapa objek sekaligus, terutama dalam skenario berikut:

• Objek yang ingin Anda unggah berukuran lebih dari 5 GB dan tidak dapat diunggah melalui Konsol OSS, unggah simple, unggah formulir, maupun unggah append.

• Objek yang ingin Anda unggah berukuran kurang dari 5 GB, tetapi kinerja jaringan yang buruk sering menyebabkan timeout koneksi atau koneksi terputus, sehingga proses unggah sering gagal.

Metode 1: Unggah multi-bagian atau unggah yang dapat dilanjutkan

Unggah multi-bagian dan unggah yang dapat dilanjutkan cocok untuk skenario berikut:

• Objek besar: Objek yang ingin Anda unggah berukuran lebih dari 5 GB.

• Unggah streaming: Anda ingin mulai mengunggah objek meskipun ukuran objek belum pasti, misalnya pada aplikasi perekaman video cloud untuk pengawasan video.

• Koneksi jaringan buruk: Unggah yang dapat dilanjutkan direkomendasikan jika kinerja jaringan Anda buruk. Metode ini memungkinkan Anda hanya mengunggah bagian-bagian yang gagal sebelumnya, sehingga lebih efisien karena tidak perlu mengunggah ulang bagian yang sudah berhasil diunggah sebelum gangguan terjadi.

• Akselerasi unggah: Ketika objek yang ingin Anda unggah berukuran besar, Anda dapat mengunggah bagian-bagiannya secara paralel untuk mempercepat proses unggah.

Untuk informasi selengkapnya, lihat Unggah multi-bagian dan Unggah yang dapat dilanjutkan.

Metode 2: ossbrowser

Perhatikan hal-hal berikut saat menggunakan ossbrowser untuk mengunggah objek:

• Anda dapat menggunakan token Security Token Service (STS) untuk login ke ossbrowser.

• Untuk menggunakan fitur kebijakan simple, Anda harus login ke ossbrowser menggunakan Pasangan Kunci Akses milik RAM user yang memiliki izin konfigurasi RAM.

• Saat mengunggah banyak objek, tingkatkan jumlah tugas unggah konkuren untuk mempercepat proses unggah.

• Secara default, ossbrowser menggunakan unggah multi-bagian dan unggah yang dapat dilanjutkan untuk mengunggah objek. Ukuran objek yang ingin Anda unggah tidak boleh melebihi 48,8 TB.

Untuk informasi selengkapnya, lihat ossbrowser 2.0.

Metode 3: ossutil

Perhatikan hal-hal berikut saat menggunakan ossutil untuk mengunggah objek:

• Anda dapat menggunakan perintah cp di ossutil untuk mengunggah objek besar.

• Anda dapat mengonfigurasi opsi --bigfile-threshold untuk menentukan ambang batas ukuran objek yang akan diunggah menggunakan unggah multi-bagian konkuren.

• Saat mengunggah satu atau beberapa objek besar, Anda dapat mengonfigurasi opsi -jobs dan -parallel untuk mengatur jumlah tugas konkuren guna mencapai kinerja unggah optimal.

• Jika Anda ingin mengunggah banyak objek, termasuk objek besar, ke OSS, Anda juga dapat menggunakan ossimport.

• Jika jumlah objek yang ingin Anda unggah sekaligus sedikit, kami merekomendasikan Anda menggunakan ossutil.

Untuk informasi selengkapnya, lihat Unggah objek.

Pemecahan Masalah

Bagian ini menjelaskan isu umum yang mungkin Anda temui saat mengunggah objek besar dan cara mengatasinya:

• Jika Anda menggunakan PutObject untuk mengunggah objek besar, operasi PutObject gagal. Hal ini mungkin disebabkan oleh faktor-faktor berikut:

  • Objek yang ingin Anda unggah berukuran lebih dari 5 GB. Gunakan ossutil untuk mengunggah objek tersebut dalam beberapa bagian.

  • Objek yang ingin Anda unggah berukuran kurang dari 5 GB. Namun karena kondisi jaringan yang buruk, objek kecil dapat diunggah seperti biasa, tetapi saat mengunggah objek yang lebih besar, permintaan tidak mendapatkan respons hingga terjadi error timeout. Hal ini mungkin disebabkan karena unit transmisi maksimum (MTU) server diatur ke nilai yang besar. Jalankan netstat -i pada Instance ECS untuk mengecek pengaturan MTU saat ini. Gambar berikut menunjukkan bahwa MTU default untuk kartu antarmuka jaringan internal dan eksternal adalah 1500.

    • Ubah MTU ke nilai yang lebih kecil. Misalnya, Anda dapat menjalankan ip link set dev eth0 mtu 1470 di Linux untuk mengubah MTU eth0 pada gambar di atas menjadi 1470.

    • Gunakan operasi MultipartUpload atau tool ossutil.

• Apakah objek besar tunggal dapat diunggah secara konkuren?

  • Jika Anda menggunakan ossutil untuk mengunggah objek besar tersebut, Anda dapat menentukan opsi --bigfile-threshold, -jobs, dan -parallel untuk mengunggah objek secara konkuren.

  • Jika Anda menggunakan operasi MultipartUpload dari API OSS atau SDK OSS, tulis kode untuk mengunggah objek secara konkuren. Beberapa SDK OSS memungkinkan Anda mengontrol jumlah thread konkuren melalui parameter tertentu, seperti taskNum pada OSS SDK untuk Java atau num_threads pada OSS SDK untuk Python.