Tous les produits
Search

Ce produit

    Cloud Parallel File Storage:Dataflow CPFS

    Centre de documentation

    Cloud Parallel File Storage:Dataflow CPFS

    Dernière mise à jour :Aug 11, 2026

    Le dataflow de Cloud Parallel File Storage (CPFS) synchronise les données entre les systèmes de fichiers CPFS et les buckets Object Storage Service (OSS). Créez des tâches de dataflow pour importer, exporter ou supprimer des données entre ces deux services de stockage.

    Présentation

    Une fois un dataflow établi entre un fileset CPFS et un bucket OSS, le système de fichiers CPFS synchronise automatiquement les métadonnées des objets depuis ce bucket. Vous pouvez alors accéder aux données OSS et les traiter via des interfaces de fichiers hautes performances compatibles POSIX. Exportez également des données vers des buckets OSS depuis la console CPFS ou en appelant des opérations OpenAPI.

    • Chargement à la demande

      Lorsque vous accédez à un répertoire ou à un fichier dans un système de fichiers CPFS lié à un bucket OSS, le système charge automatiquement les métadonnées ou les données requises à la demande. Par exemple, exécuter la commande ls sur un répertoire lié déclenche le chargement des métadonnées depuis OSS. Accéder à un fichier provoque le chargement des blocs de données nécessaires depuis OSS.

    • Importation et exportation de données

      Créez des tâches de dataflow pour transférer des données entre CPFS et OSS. Ainsi, les données se synchronisent vers le système de fichiers CPFS haute performance avant le lancement des travaux de calcul. CPFS prend en charge l'importation et l'exportation d'arborescences complètes de répertoires ou de listes de fichiers spécifiques. Une fois la tâche terminée, consultez son rapport pour obtenir les détails d'exécution.

      Important

      • CPFS exporte les métadonnées vers les métadonnées personnalisées d'un objet OSS, sous le nom x-oss-meta-afm-xxx. Ne supprimez ni ne modifiez ces métadonnées, sous peine de provoquer des erreurs de métadonnées du système de fichiers.

      • Les rapports de tâche sont fournis à titre indicatif uniquement. L'état final des données à la destination fait foi. Vérifiez impérativement la cohérence des données entre la source et la destination après la fin du dataflow.

    • Mises à jour automatiques des métadonnées

      Une fois les mises à jour automatiques activées, CPFS surveille les événements de modification des données OSS et synchronise les métadonnées de fichiers mises à jour vers le système de fichiers CPFS. Ce mécanisme garantit une cohérence à terme entre CPFS et OSS tout en réduisant les coûts d'exploitation et de maintenance.

    • Mise à l'échelle élastique

      Ajustez la bande passante du dataflow à la hausse ou à la baisse selon vos besoins. Augmentez-la pendant les pics de trafic et réduisez-la durant les périodes creuses.

    Limites

    • Fileset

      • Les filesets sont pris en charge uniquement à partir de CPFS 2.2.0.

      • Un système de fichiers CPFS unique admet au maximum 10 filesets.

      • Un fileset peut être lié à un répertoire situé jusqu'à huit niveaux de profondeur dans le système de fichiers CPFS.

      • La capacité maximale d'un fileset est de 1 million de fichiers ou répertoires.

      • Les filesets imbriqués ne sont pas pris en charge.

    • Dataflows

      • Les dataflows nécessitent CPFS 2.2.0 ou version ultérieure.

      • Chaque système de fichiers CPFS accepte jusqu'à 10 dataflows.

      • Un dataflow individuel peut comporter cinq répertoires de mise à jour automatique au maximum.

      • Un fileset d'un système de fichiers CPFS ne peut être associé qu'à un seul bucket OSS.

      • L'historique des tâches de dataflow est conservé pendant 90 jours maximum.

      • Stockés dans le système de fichiers CPFS, les rapports de tâches de dataflow consomment de l'espace de stockage. Leur nombre est plafonné à 1 million.

      • Les dataflows interrégionaux ne sont pas disponibles. Le système de fichiers CPFS et le bucket OSS doivent résider dans la même région.

    • Restrictions des dataflows sur les systèmes de fichiers

      • Ne renommez pas un répertoire non vide dans un fileset associé à un dataflow. Cette opération risque d'entraîner une erreur Permission Denied ou « directory not empty ».

      • Les dataflows ne prennent pas en charge les objets OSS de type Archive ou Cold Archive.

      • Utilisez les caractères spéciaux avec prudence dans les noms de répertoires et de fichiers. Les caractères autorisés comprennent les lettres majuscules et minuscules, les chiffres, les points d'exclamation (!), les traits d'union (-), les traits de soulignement (_), les points (.), les astérisques (*) et les parenthèses ().

      • Les chemins longs ne sont pas pris en charge. La longueur maximale d'un chemin pour un dataflow est de 1 023 caractères.

    • Limites relatives à l'exportation de données

      • Les dataflows ne prennent pas en charge l'exportation de liens physiques ou symboliques vers un bucket OSS.

      • Les dataflows ne permettent pas d'exporter des répertoires vides vers un bucket OSS.

      • Les propriétés ChangeTime ne peuvent pas être exportées vers un bucket OSS via un dataflow.

      • Lorsqu'un dataflow exporte des données creuses (sparse data), les trous de valeur zéro sont comblés avant l'exportation vers le bucket OSS.

    • Contraintes des mises à jour automatiques de métadonnées

      Cette fonctionnalité est exclusivement disponible dans les régions suivantes : Chine (Hangzhou), Chine (Chengdu), Chine (Shanghai), Chine (Shenzhen), Chine (Zhangjiakou) et Chine (Pékin).

    Procédure

    1. Créez un fileset CPFS. Pour plus d'informations, consultez Créer un fileset.

    2. Créez un dataflow. Reportez-vous à la rubrique Créer un dataflow pour plus de détails.

    3. Créez une tâche d'importation, d'exportation ou de suppression de données. Consultez Créer une tâche de dataflow pour en savoir plus.

    4. Vérifiez les données. Une fois la tâche de dataflow terminée, assurez-vous de l'exactitude des données à la destination.

      Avertissement

      Si vous supprimez les données sources avant d'avoir confirmé leur transfert correct vers la destination, vous assumez l'entière responsabilité de toute perte de données en résultant ainsi que de toutes ses conséquences.

    Métriques de performance

    Type d'opération

    Métrique

    Description

    Importation de données

    Débit pour les fichiers supérieurs à 1 Go

    • Débit d'importation par fichier unique : 200 Mo/s.

    • Le débit d'importation multi-fichiers peut atteindre la bande passante configurée.

    OPS pour les fichiers de l'ordre du mégaoctet

    Importation mono-répertoire et multi-répertoires : 1 000.

    Exportation de données

    Débit pour les fichiers supérieurs à 1 Go

    • Débit d'exportation par fichier unique : 200 Mo/s.

    • Le débit d'exportation multi-fichiers peut atteindre la bande passante configurée.

    OPS pour les fichiers de l'ordre du mégaoctet

    Exportation mono-répertoire et multi-répertoires : 600.

    Suppression de données

    OPS

    Suppression mono-répertoire et multi-répertoires : 2 000.

    Chargement à la demande (lazy load)

    Débit pour les fichiers supérieurs à 1 Go

    • Débit d'importation par fichier unique : 200 Mo/s.

    • Le débit d'importation multi-fichiers peut atteindre la bande passante configurée.

    OPS pour les fichiers de l'ordre du mégaoctet

    Importation mono-répertoire et multi-répertoires : 1 000.

    Mise à jour automatique des métadonnées

    OPS

    • Dataflow à 600 Mo/s : 2 000.

    • Dataflow à 1 200 Mo/s : 3 000.

    • Dataflow à 1 500 Mo/s : 4 000.