OSS tools - CLI, GUI, migration, and mounting tools - Object Storage Service

OSS propose des outils pour téléverser des fichiers, générer des URL signées, migrer des données et monter des buckets. Des outils tiers et des plugins communautaires étendent encore les fonctionnalités d'OSS.

Outils officiels

Outils en ligne de commande

Gérez OSS via un terminal ou des scripts automatisés.

Outil	Description
ossutil 2,0 (recommandé)	Dernière version de l'outil CLI pour OSS. Prend en charge les commandes multiniveaux (haut niveau et niveau API) pour la gestion des buckets et des objets, notamment les téléversements concurrents, les téléversements avec reprise et les transferts de répertoires. Prend en charge les identifiants externes, les identifiants OIDC et la récupération automatique du nom de rôle pour les identifiants de rôle RAM d'instance. Prend en charge l'option `--output-format` pour afficher les résultats au format JSON, YAML ou XML plutôt qu'au format brut par défaut.
ossutil 1,0	Outil de gestion en ligne de commande pour OSS. Gère les buckets et les objets. Prend en charge les téléversements de fichiers concurrents et avec reprise. Prend en charge le téléversement et le téléchargement de répertoires.
Alibaba Cloud CLI	Interface CLI unifiée pour gérer les ressources Alibaba Cloud, y compris les données OSS via des commandes standardisées. Pour les opérations spécifiques, consultez Gérer les données OSS avec Alibaba Cloud CLI dans Cloud Shell.
osscmd (obsolète)	Cet outil CLI n'est plus disponible depuis le 31 juillet 2019. Ses fonctionnalités sont désormais intégrées à ossutil. Proposait un ensemble complet de commandes pour gérer les buckets et les objets. Compatible avec les plateformes Windows et Linux. Limitations : Compatible uniquement avec Python 2.5–2,7. Ne prend pas en charge les classes de stockage Infrequent Access (IA), Archive, Cold Archive, Deep Cold Archive, la réplication inter-régions (CRR) ni le retour à l'origine basé sur la mise en miroir.

Outils de gestion graphique

Parcourez et gérez les objets via une interface graphique.

Outil

Description

ossbrowser 2,0 (recommandé)

Dernière version de l'outil de gestion graphique pour OSS.

Prend en charge la plupart des fonctionnalités de l'ancien ossbrowser.
Ajoute des méthodes de connexion telles que le scan de code QR avec l'application Alibaba Cloud, Alipay ou DingTalk.
Prend en charge les favoris de bucket.
Prend en charge l'édition de fichiers directement dans le navigateur.
Interface utilisateur repensée pour simplifier la gestion des fichiers et les transferts.

ossbrowser

Outil de gestion graphique.

Navigation dans les fichiers similaire à l'Explorateur Windows.
Prend en charge la navigation directe dans les fichiers.
Prend en charge le téléversement et le téléchargement de répertoires.
Prend en charge les téléversements concurrents et avec reprise.
Prend en charge l'autorisation graphique des politiques pour les utilisateurs RAM.
Compatible avec les plateformes Windows, Linux et Mac.

Limitations :

Transferts plus lents qu'ossutil.
Déplacement et copie limités aux objets de moins de 5 Go.
Taille maximale d'un fichier unique en téléversement : 48,8 To.

Outils de migration et de synchronisation des données

Migrez ou synchronisez des données provenant d'autres sources vers OSS.

Outil	Description
Data Online Migration (recommandé)	Service de migration en ligne visuel et sans code. Migrez en toute sécurité de grands ensembles de données depuis diverses sources vers OSS avec une configuration minimale. Compatible avec AWS S3, Tencent Cloud COS, Huawei Cloud OBS, Volcengine TOS, Google Cloud GCS, Microsoft Azure Blob et le stockage compatible S3 auto-hébergé. Soumettez et surveillez les tâches de migration en ligne sans configurer d'environnement de migration.
Migration hors ligne (Data Transport)	Service de migration de données qui utilise des appareils physiques Data Transport personnalisés pour migrer des données locales de l'ordre du téraoctet au pétaoctet vers le cloud, améliorant ainsi l'efficacité du transfert et répondant aux défis de sécurité des données. Adapté aux migrations de centres de données vers le cloud et à l'archivage à l'échelle entreprise de fichiers et de données d'images historiques. Le transport sur support physique contourne les limitations de bande passante du réseau public.
ossimport	Outil de synchronisation des données pour OSS. Synchronise les fichiers depuis des sources de données tierces vers OSS. Prend en charge le déploiement distribué sur plusieurs serveurs pour la migration par lots. Gère les migrations de l'ordre du téraoctet et au-delà. Compatible avec les plateformes Windows et Linux. Nécessite Java 7.

Outils de montage de système de fichiers

Montez un bucket en tant que répertoire local pour gérer les objets comme des fichiers locaux.

Outil

Description

ossfs 2,0 (recommandé)

Version réarchitecturée pour les applications à forte intensité de calcul. Offre des améliorations majeures des performances avec certaines limitations sémantiques POSIX, et constitue la version principale pour le développement futur. Utilisez ossfs 2,0 pour l'entraînement IA, l'inférence ou la simulation de conduite autonome lorsque le SDK OSS ou le Connecteur OSS pour IA/ML n'est pas pratique.

Compatibilité POSIX de base axée sur les capacités de lecture/écriture OSS côté serveur.
E/S séquentielles haute performance pour les grands objets grâce à des optimisations de bout en bout.
Chargement concurrent efficace des petits objets grâce à une gestion optimisée des métadonnées.

Limitations :

Les limitations suivantes s'appliquent lors du montage d'un bucket avec ossfs 2,0 :

Exigences en matière d'autorisations : L'AccessKey doit disposer d'autorisations complètes pour le bucket cible ou les ressources liées au préfixe. Sinon, le montage peut échouer ou les fonctions peuvent ne pas fonctionner correctement.
Limitations de classe de stockage : Le montage de buckets des classes de stockage Archive, Cold Archive ou Deep Cold Archive n'est pas pris en charge.
Limitations des noms d'objets : Les noms d'objets ne peuvent pas dépasser 255 caractères (limite Linux). Les noms plus longs ne sont pas visibles au point de montage.
Limitations d'écriture : Les écritures aléatoires ne sont pas prises en charge. Les écritures créent des objets non ajoutables par défaut. La taille de partie par défaut est de 8 MiB, ce qui limite la taille maximale du fichier à 78 125 GiB. Configurez la taille du fragment avec l'option de montage upload_buffer_size.
Opérations de renommage (non atomiques)
- Fichiers : Copie le fichier, puis supprime la source distante.
- Répertoires : Copie tous les fichiers, puis supprime les sources par lot. Limite par défaut : 2 millions de fichiers descendants, configurable via l'option de montage rename_dir_limit.
Cohérence des écritures concurrentes : La cohérence des données n'est pas garantie lorsque plusieurs clients écrivent simultanément dans le même fichier.
Compatibilité des API POSIX : Partiellement compatible. Pour plus d'informations, consultez Prise en charge des API POSIX.

ossfs 1.0

Outil de montage de bucket pour Linux. Monte un bucket OSS dans le système de fichiers local, permettant des opérations sur les fichiers locaux sur les objets OSS.

Prend en charge la plupart des fonctionnalités POSIX : lectures/écritures de fichiers, répertoires, liens, autorisations, UID/GID et attributs étendus.
Prend en charge les téléversements multiparties pour les gros fichiers.
Prend en charge la validation MD5 pour garantir l'intégrité des données.

Limites :

Les limites suivantes s'appliquent lors du montage d'un bucket avec ossfs 1,0 :

Non adapté aux scénarios de lecture et d'écriture à haute concurrence.
Remarque
- Les lectures et les écritures nécessitent toutes deux une mise en cache sur disque, ce qui fait des performances du disque le goulot d'étranglement dans les scénarios à haute concurrence.
- Les demandes de lecture et d'écriture concurrentes entrent en conflit pour la bande passante.
Ne prend pas en charge les liens physiques.
Ne prend pas en charge le montage de buckets de stockage Archive, Cold Archive ou Deep Cold Archive.
La modification d'un fichier téléversé entraîne son retéléversement.
Les opérations sur les métadonnées telles que list directory sont lentes en raison de l'accès au serveur OSS distant.
Le renommage de fichiers ou de dossiers peut échouer et provoquer une incohérence des données.
Si plusieurs clients montent le même bucket, vous devez coordonner l'accès pour éviter les écritures concurrentes sur le même objet.

Outils IA

Accédez aux données OSS et stockez-les efficacement dans les workflows IA.

Outil

Description

Connecteur OSS pour IA/ML

Bibliothèque Python pour un accès efficace aux données OSS lors de l'entraînement PyTorch.

Prend en charge les jeux de données de type map pour un accès aléatoire pendant l'entraînement.
Prend en charge les jeux de données de type iterable pour un accès séquentiel en flux.
Prend en charge les objets OssCheckpoint pour charger les points de contrôle d'entraînement directement vers OSS.

Limites :

Système d'exploitation : Linux x86-64
glibc : >=2.17
Python : 3,8–3.12
PyTorch : >=2.0
OSS Checkpoint nécessite la prise en charge de userfaultfd par le noyau Linux.

Outils FTP

Outil

Description

ossftp

Outil de gestion d'objets basé sur FTP.

Fonctionne avec des clients FTP tels que FileZilla, WinSCP et FlashFXP.
Agit comme un serveur FTP qui mappe les opérations sur les fichiers aux appels d'API OSS.
Basé sur Python 2.7 et versions ultérieures.
Compatible avec les plateformes Windows, Linux et macOS.

Outils de développement et d'autorisation

Intégrez-vous aux workflows de développement et gérez les autorisations fines.

Outil

Description

Éditeur de politiques RAM

Générateur automatisé pour les politiques d'autorisation OSS.

Génère des politiques en fonction de vos besoins, utilisables comme politiques personnalisées RAM.
Compatible avec les navigateurs Chrome, Firefox et Safari.

Outils et plugins tiers

Outils et plugins développés par la communauté qui intègrent OSS aux outils et frameworks de développement populaires.

Outil	Description
Big Data Tools	Plugin IDE JetBrains pour l'intégration d'OSS dans les workflows de big data. Fournit une interface utilisateur pour parcourir les systèmes de fichiers distants, y compris OSS. Propose des opérations sur les fichiers similaires à celles d'un gestionnaire de fichiers (copier, déplacer, renommer, supprimer et télécharger des fichiers). Permet de prévisualiser les fichiers. Pour les fichiers CSV, vous pouvez basculer entre les vues texte et tableau. Affiche les métadonnées des fichiers, telles que l'heure de modification. Permet de prévisualiser les fichiers binaires, tels que Parquet. Permet d'ouvrir des buckets et des dossiers dans plusieurs onglets. Connecter les IDE JetBrains à OSS à l'aide de Big Data Tools.
Hacklog Remote Attachment	Plugin WordPress qui stocke les pièces jointes et les médias sur OSS au lieu du serveur local, améliorant la vitesse de chargement et réduisant le stockage de l'hôte. Comment stocker des pièces jointes distantes sur OSS pour WordPress.
FileZilla	Client FTP pour téléverser des fichiers locaux vers OSS, réduisant la charge de stockage local. Comment téléverser des fichiers de site local vers OSS à l'aide de FileZilla.