"Nomor bagian harus berada dalam rentang [1-10000]" kesalahan saat mengunggah file besar menggunakan alat ossimport - Object Storage Service

Tantangan

Saat menggunakan alat migrasi data ossimport untuk mengunggah file ke Alibaba Cloud Object Storage Service (OSS), muncul kesalahan berikut ketika mengunggah file besar:

java.lang.IllegalArgumentException: The part number should be in the range of [1-10000].

Penyebab

Alat ossimport secara otomatis menggunakan metode unggah multipart untuk file besar. Ukuran objek dalam mode ini ditentukan oleh jumlah bagian, dengan batas maksimum 10.000 bagian. Setiap bagian memiliki ukuran minimum 100KB dan maksimum 5GB, sehingga ukuran total objek tidak dapat melebihi 48,8TB. Secara default, alat ini menetapkan ukuran bagian sebesar 50MB, mendukung pengunggahan file hingga 500GB.

Catatan

Catatan: Untuk mengalokasikan ukuran time slice yang diunggah, pastikan ukurannya lebih besar dari 100KB. Jika tidak, parameter ini tidak valid. Bagian terakhir dapat berukuran kurang dari 100KB.

Solusi

Tetapkan parameter berikut dalam file konfigurasi local_job.cfg alat ossimport. Pengaturan default mendukung pengunggahan file hingga 500GB. Anda dapat memodifikasi nilai parameter ini untuk mendukung pengunggahan file yang lebih besar.

multipartUploadPartSize=50m

Referensi

Ruang lingkup aplikasi

Object Storage Service (OSS)