Object Storage Service:Erro "The part number should be in the range of [1-10000]" ao fazer upload de arquivos grandes com a ferramenta ossimport

Desafio

Ao utilizar a ferramenta de migração de dados ossimport para fazer upload de arquivos para o Alibaba Cloud Object Storage Service (OSS), o seguinte erro ocorre durante o upload de arquivos grandes:

java.lang.IllegalArgumentException: The part number should be in the range of [1-10000].

Causa

A ferramenta ossimport utiliza automaticamente o método de multipart upload ao fazer upload de arquivos grandes. O tamanho dos objetos no modo multipart upload é determinado pelas partes, e o número máximo de partes suportado é 10.000 blocos. O tamanho mínimo de cada parte é 100 KB e o máximo é 5 GB. Portanto, o tamanho dos objetos não pode exceder 48,8 TB. O limite padrão de cada parte na ferramenta ossimport é 50 MB, o que permite o upload de arquivos de até 500 GB.

Solução

Defina os seguintes parâmetros no arquivo de configuração local_job.cfg da ferramenta ossimport. Essa configuração permite o upload de arquivos de até 500 GB. Modifique o valor desse parâmetro para permitir o upload de arquivos maiores.

multipartUploadPartSize=50m

Referências

• Multipart upload e upload resumível
• Descrição e configuração da ferramenta ossimport
• Perguntas frequentes sobre a ferramenta de migração de dados ossimport e suas soluções

Escopo de aplicação

• Object Storage Service (OSS)