Object Storage Service:Comment télécharger des objets volumineux vers OSS ?

OSS prend en charge des objets dont la taille varie de 0 octet à 48,8 To. Pour les objets supérieurs à 5 Go, le téléchargement simple, le téléchargement par formulaire et le téléchargement par ajout ne sont pas pris en charge. Utilisez plutôt le téléchargement en plusieurs parties, le téléchargement avec reprise, ossbrowser ou ossutil.

Méthodes de téléchargement

OSS accepte des objets allant de 0 octet à 48,8 To. Les méthodes de téléchargement alternatives s'avèrent utiles dans les scénarios suivants :

• L'objet dépasse 5 Go. La console OSS, ainsi que les modes de téléchargement simple, par formulaire et par ajout, ne prennent pas en charge les objets au-delà de cette limite.

• L'objet fait moins de 5 Go, mais des délais d'attente intermittents ou des déconnexions surviennent en raison de performances réseau médiocres.

Choisissez une méthode de téléchargement

Méthode 1 : Téléchargement en plusieurs parties ou avec reprise

Le téléchargement en plusieurs parties et le téléchargement avec reprise conviennent particulièrement aux cas suivants :

• Objets supérieurs à 5 Go : PutObject ne prend pas en charge les objets dépassant cette limite.

• Téléchargements en flux continu : commencez le transfert avant de connaître la taille finale de l'objet, par exemple dans les applications d'enregistrement vidéo cloud ou de vidéosurveillance.

• Réseaux peu fiables : le téléchargement avec reprise ne retente que les parties ayant échoué, et non l'intégralité de l'objet. Cette approche s'avère particulièrement efficace lorsque les transferts sont fréquemment interrompus.

• Accélération du téléchargement parallèle : divisez un objet volumineux en plusieurs parties et téléchargez-les simultanément pour maximiser le débit.

Pour plus d'informations, consultez les rubriques Téléchargement en plusieurs parties et Téléchargement avec reprise.

Méthode 2 : ossbrowser

ossbrowser utilise par défaut le téléchargement en plusieurs parties et le téléchargement avec reprise, ce qui permet de gérer des objets jusqu'à 48,8 To. Tenez compte des points suivants :

• Connectez-vous à l'aide d'un jeton Security Token Service (STS) ou utilisez la paire AccessKey d'un utilisateur RAM.

• Pour exploiter la fonctionnalité de politique simplifiée, connectez-vous avec la paire AccessKey d'un utilisateur RAM disposant des autorisations de configuration RAM.

• Lorsque de nombreux téléchargements ou transferts s'exécutent simultanément, réduisez la limite de concurrence afin d'améliorer la vitesse d'une tâche spécifique.

• La taille maximale d'objet prise en charge est de 48,8 To.

Pour plus d'informations, consultez la rubrique Opérations courantes.

Méthode 3 : ossutil

Utilisez la commande cp pour télécharger des objets volumineux. ossutil offre un contrôle précis du téléchargement avec reprise et de la concurrence :

• Exécutez la commande cp pour télécharger des objets volumineux.

• Définissez --bigfile-threshold afin de spécifier la taille d'objet au-delà de laquelle le téléchargement avec reprise est automatiquement activé.

• Configurez -jobs et -parallel pour maîtriser le nombre de tâches de téléchargement concurrentes lors du transfert d'un ou plusieurs objets volumineux.

• Pour les téléchargements groupés impliquant de nombreux objets, combinez ossutil avec ossimport.

• Pour des lots plus restreints, ossutil suffit.

Pour plus d'informations, consultez la rubrique cp (télécharger des fichiers).

Dépannage

• PutObject échoue lors du téléchargement d'objets volumineux. Causes fréquentes :

  • L'objet dépasse 5 Go. PutObject ne prend pas en charge les objets de plus de 5 Go. Utilisez ossutil pour télécharger l'objet par parties.

  • PutObject expire sans réponse. Une valeur élevée de l'unité maximale de transmission (MTU) peut en être la cause. Exécutez netstat -i sur l'instance Elastic Compute Service (ECS) pour vérifier la MTU actuelle. La MTU par défaut des cartes réseau internes et externes est de 1500.

    • Réduisez la MTU. Par exemple, exécutez ip link set dev eth0 mtu 1470 sous Linux pour définir la MTU de eth0 à 1470.

    • Basculez vers l'opération MultipartUpload ou utilisez ossutil.

• Impossible de télécharger simultanément les parties d'un objet volumineux. Pour activer le téléchargement parallèle des parties :

  • Avec ossutil : spécifiez --bigfile-threshold, -jobs et -parallel afin de contrôler la concurrence.

  • Avec les API ou SDK OSS : utilisez l'opération MultipartUpload et implémentez une logique de téléchargement concurrent. De nombreux SDK exposent un paramètre de concurrence, par exemple taskNum dans le SDK OSS pour Java et num_threads dans le SDK OSS pour Python.