Tous les produits
Search

Ce produit

    DataWorks:Nœud FTP Check

    Centre de documentation

    DataWorks:Nœud FTP Check

    Dernière mise à jour :Aug 09, 2026

    Le nœud FTP Check vérifie périodiquement la présence d'un fichier spécifique via le protocole FTP. Si le fichier existe, le nœud aboutit et déclenche l'exécution des nœuds descendants. Si le fichier est absent, le nœud poursuit les vérifications à l'intervalle configuré jusqu'à ce qu'une condition d'arrêt soit satisfaite. Ce nœud sert couramment de mécanisme de signalisation entre le système d'ordonnancement DataWorks et des systèmes externes. Cette rubrique explique comment utiliser le nœud FTP Check et fournit des remarques importantes sur son utilisation.

    Remarques

    • Dans l'ancienne version de DataStudio, les nœuds FTP Check sont obsolètes. Migrez vos nœuds FTP Check vers des nœuds Check dès que possible. Pour plus d'informations, consultez Nœud Check.

    • DataStudio ne prend plus en charge les nœuds FTP Check.

    Prérequis

    • Vous devez disposer d'une source de données FTP. Le nœud FTP Check ne prend pas en charge une source de données FTP configurée avec le protocole SFTP et utilisant l'authentification par key pair.

    • Vous devez disposer d'un workflow. Pour plus d'informations, consultez Créer un workflow planifié.

    Contexte

    Un cas d'utilisation typique du nœud FTP Check intervient lorsqu'une tâche du système d'ordonnancement DataWorks doit accéder à une base de données externe, mais que la tâche d'écriture des données correspondante n'est pas gérée par DataWorks. Dans ce scénario, DataWorks ne peut pas déterminer quand la tâche d'écriture est terminée et quand les données sont prêtes à être consultées. Si DataWorks lit les données avant la fin de l'opération d'écriture, les données risquent d'être incomplètes ou l'opération de lecture peut échouer. Pour résoudre ce problème, configurez l'autre système d'ordonnancement afin qu'il crée un fichier indicateur dans un système de fichiers spécifié une fois sa tâche d'écriture des données terminée. Par exemple, le système peut générer un fichier .done pour signaler la fin de la tâche. Configurez ensuite un nœud FTP Check dans DataWorks pour vérifier périodiquement la présence de ce fichier .done. Lorsque le fichier est détecté, cela indique que la tâche d'écriture des données dans la base de données est terminée ; vous pouvez alors déclencher les tâches qui doivent accéder aux données de cette base de données.

    Remarque

    • Configurez le système d'ordonnancement externe pour qu'il génère le fichier indicateur dans un système de fichiers spécifique.

    • Cette rubrique utilise un fichier .done à titre d'exemple. Personnalisez le format et le nom du fichier indicateur selon vos besoins.

    Le processus est le suivant :FTP Check

    1. Un système d'ordonnancement externe détecte que les données d'une base de données externe sont prêtes. Il génère ensuite un fichier indicateur, tel que xxxx2021-03-03.done, dans un système de fichiers désigné. Dans cet exemple, un fichier avec le suffixe .done est utilisé, mais vous pouvez définir un fichier personnalisé en fonction de vos exigences métier.

    2. La source de données FTP fournit l'accès au système de fichiers contenant le fichier indicateur.

    3. Le nœud FTP Check interroge le fichier indicateur via la source de données FTP selon la politique de vérification configurée.

      • Si le fichier indicateur est trouvé, les données externes sont prêtes. Le nœud FTP Check aboutit et envoie un statut de succès à ses nœuds descendants.

      • Si le fichier indicateur est introuvable, les données externes ne sont pas prêtes. Le nœud FTP Check échoue pour la tentative actuelle et ne déclenche pas ses nœuds descendants. Il continue à vérifier selon sa politique configurée jusqu'à ce que la condition d'arrêt soit satisfaite.

      Pour plus d'informations sur les politiques de vérification, consultez Configurer la cible et la politique de vérification dans la procédure ci-dessous.

    4. Les nœuds descendants décident s'ils doivent s'exécuter en fonction du résultat du nœud FTP Check.

      • Si le nœud FTP Check aboutit, les nœuds descendants démarrent et accèdent à la base de données externe.

      • Si le nœud FTP Check échoue, les nœuds descendants ne s'exécutent pas.

    5. Les nœuds descendants accèdent aux données de la base de données externe.

    Remarque

    Les bases de données externes peuvent inclure divers services de base de données ou de stockage, tels qu'Oracle, MySQL et SQL Server.

    Limites

    • Groupes de ressources : Les nœuds FTP Check peuvent s'exécuter sur un groupe de ressources serverless (recommandé) ou sur un ancien groupe de ressources exclusif pour l'ordonnancement. Pour acheter et utiliser un groupe de ressources serverless, consultez Utiliser un groupe de ressources serverless.

    • Sources de données : Vous ne pouvez pas utiliser un nœud FTP Check avec une source de données FTP configurée avec le protocole SFTP et utilisant l'authentification par key pair.

    • Si un nœud FTP Check est planifié pour s'exécuter à la minute ou à l'heure, vous ne pouvez pas définir la Policy for Stopping Check sur Time for Stopping Check. Pour ces tâches, vous devez utiliser la politique Checks Allowed Before Check Node Stops.

    • Régions prises en charge : Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur), Indonésie (Jakarta), Allemagne (Francfort), Royaume-Uni (Londres), États-Unis (Silicon Valley) et États-Unis (Virginie).

    Créer un nœud FTP Check

    1. Connectez-vous à la console DataWorks.

    2. Sur la page Data Studio , placez le curseur sur l'icône 新建 et choisissez General > FTP Check.

      Vous pouvez également ouvrir un workflow, cliquer avec le bouton droit sur General , puis choisir Create > FTP Check.

    3. Dans la boîte de dialogue Create Node , saisissez un Node Name et sélectionnez un Location pour le nœud.

      Remarque

      Le nom du nœud doit comporter 128 caractères maximum et ne peut contenir que des lettres, des caractères chinois, des chiffres, des traits de soulignement (_) et des points (.).

    4. Cliquez sur Commit.

    5. Dans le panneau de droite, cliquez sur Scheduling pour configurer les propriétés d'ordonnancement du nœud.

      Les propriétés incluent General , les time properties , Resource Group et Scheduling Dependency . Pour plus d'informations, consultez Configurer les propriétés de base , Configurer les propriétés temporelles , Configurer les propriétés de ressource et Configurer les dépendances d'ordonnancement dans le même cycle .

    6. Configurez la cible et la politique de vérification.

      Configurez les paramètres suivants : Sélectionnez une FTP Data Source, spécifiez le chemin dans le champ File to Check, par exemple /root/abc , définissez l'Check Interval (Seconds) et choisissez une check stop policy (check stop time ou check stop count).

      1. Dans la liste déroulante Select FTP Data Source , sélectionnez la source de données FTP cible.

        Vous pouvez sélectionner une source de données FTP ou SFTP. Si aucune source de données n'est disponible dans la liste, vous devez en créer une. Pour plus d'informations, consultez Configurer une source de données FTP .

      2. Dans le champ File to Check , spécifiez le chemin du fichier à vérifier. Si le chemin du fichier est dynamique, vous pouvez utiliser des paramètres d'ordonnancement pour créer un chemin variable. Pour plus d'informations, consultez Formats des paramètres d'ordonnancement .

      3. Dans le champ Check Interval (Seconds) , configurez l'intervalle de temps entre les vérifications.

      4. Dans la section Policy for Stopping Check , sélectionnez une politique d'arrêt de la vérification.

        • Time for Stopping Check : Le nœud arrête les vérifications à une heure précise de la journée. Spécifiez l'heure au format 24 heures hh:mm:ss . Si une vérification échoue, le nœud réessaie à l'intervalle configuré jusqu'à ce qu'il trouve le fichier ou que l'heure d'arrêt soit atteinte. Les nœuds descendants ne sont déclenchés qu'après la réussite de la vérification. En cas d'échecs répétés de la vérification, vous pouvez consulter les journaux pour plus de détails.

          Remarque

          La configuration du cycle d'ordonnancement d'un nœud FTP Check affecte la politique d'arrêt :

          • Si le cycle d'ordonnancement est défini sur minute ou Hour , vous ne pouvez pas sélectionner Time for Stopping Check . Vous devez utiliser Checks Allowed Before Check Node Stops . Pour plus d'informations, consultez Configurer la cible et la politique de vérification .

          • Si le cycle d'ordonnancement est initialement défini sur Day avec la politique définie sur Time for Stopping Check , et que vous modifiez ultérieurement le cycle en minute ou Hour , l'option Time for Stopping Check devient invalide. Vous devez modifier la politique en Checks Allowed Before Check Node Stops avant de pouvoir valider le nœud.

        • Checks Allowed Before Check Node Stops : Le nœud arrête les vérifications après un nombre spécifié de tentatives. Si une vérification échoue, le nœud réessaie à l'intervalle configuré jusqu'à ce qu'il trouve le fichier ou que le nombre maximal de vérifications soit atteint. Les nœuds descendants ne sont déclenchés qu'après la réussite de la vérification. En cas d'échecs répétés de la vérification, vous pouvez consulter les journaux pour plus de détails.

    7. Enregistrez et validez le nœud.

      Remarque

      Vous devez configurer les propriétés Rerun attribute et Parent Nodes avant de pouvoir valider le nœud.

      1. Dans la barre d'outils supérieure, cliquez sur l'icône 保存 pour enregistrer le nœud.

      2. Cliquez sur l'icône 提交 dans la barre d'outils supérieure.

      3. Dans la boîte de dialogue Commit Node , saisissez une Change Description .

      4. Cliquez sur OK .

      Si votre espace de travail est en mode standard, vous devez déployer le nœud après l'avoir validé. Cliquez sur Deploy dans le coin supérieur droit. Pour plus d'informations, consultez Déployer des nœuds .

    8. Testez le nœud. Pour plus d'informations, consultez Gérer les tâches planifiées .