DataWorks:Nœud d'inspection d'objet OSS

Présentation

Le cas d'utilisation courant du nœud d'inspection d'objet OSS consiste à gérer les dépendances vis-à-vis de données externes. Par exemple, une tâche DataWorks peut avoir besoin d'accéder à une base de données externe, mais la tâche qui écrit les données dans cette base est gérée par un système de planification externe. Dans ce scénario, DataWorks ne peut pas déterminer quand l'opération d'écriture est terminée. Si la tâche DataWorks lit les données avant la fin de l'écriture, elle risque de lire des données incomplètes ou d'échouer. Pour résoudre ce problème, configurez le système externe afin qu'il crée un fichier marqueur, tel qu'un fichier .done, dans un système de fichiers spécifié une fois la tâche d'écriture terminée. Configurez ensuite un nœud d'inspection d'objet OSS dans DataWorks pour vérifier périodiquement la présence de ce fichier .done. Dès que le nœud détecte le fichier, il confirme que les données sont prêtes et déclenche les tâches en aval qui doivent accéder à la base de données.

1. Un système de planification externe détecte que les données d'une base de données externe sont prêtes à être consultées (par exemple, une tâche d'écriture est terminée). Il crée ensuite un fichier marqueur, tel que XXXX2024-09-29.done, dans un système de fichiers spécifié. Cette rubrique utilise un fichier avec le suffixe .done à titre d'exemple, mais vous pouvez définir un format de fichier personnalisé pour répondre à vos besoins métier.

2. La source de données OSS lit le fichier marqueur depuis le système de fichiers.

3. Le nœud d'inspection d'objet OSS vérifie périodiquement la présence du fichier marqueur dans la source de données OSS, conformément à sa politique de détection configurée.

   • Si le nœud trouve le fichier marqueur, cela indique que les données sont prêtes à être consultées. Le nœud d'inspection d'objet OSS envoie alors un signal de réussite à ses nœuds en aval.

   • Si le fichier marqueur n'est pas trouvé, cela signifie que les données de la base de données externe ne sont pas encore prêtes. Le nœud d'inspection d'objet OSS n'envoie aucun signal à ses nœuds en aval. Il continue les vérifications selon la politique configurée jusqu'à atteindre la limite de nouvelles tentatives.

4. Le nœud en aval utilise le résultat du nœud d'inspection d'objet OSS pour décider s'il doit démarrer sa tâche.

   • Si le nœud d'inspection d'objet OSS signale une réussite, le nœud en aval démarre sa tâche pour accéder aux données de la base de données externe.

   • Si le nœud d'inspection d'objet OSS échoue à détecter le fichier et atteint le délai d'expiration, le nœud en aval ne démarre pas sa tâche.

5. Le nœud en aval accède aux données de la base de données externe.

Prérequis

• L'utilisateur RAM que vous souhaitez utiliser a été ajouté à votre espace de travail.

  Si vous souhaitez utiliser un utilisateur RAM pour développer des tâches, ajoutez cet utilisateur RAM à votre espace de travail en tant que membre et attribuez-lui le rôle Develop ou Workspace Administrator. Le rôle Workspace Administrator dispose de plus d'autorisations que nécessaire. Faites preuve de prudence lors de l'attribution de ce rôle. Pour plus d'informations sur l'ajout d'un membre et l'attribution de rôles, consultez la rubrique Ajouter des membres à un espace de travail.

• Un groupe de ressources serverless est associé à votre espace de travail. Pour plus d'informations, consultez les rubriques du répertoire Utiliser des groupes de ressources serverless.

• Créez un nœud d'inspection d'objet OSS. Pour plus d'informations, consultez la rubrique Créer un nœud de flux de travail de planification.

Notes d'utilisation

• Lors de l'exécution de la tâche, le nœud utilise l'autorisation en mode STS pour vérifier l'objet OSS. Assurez-vous que les autorisations requises pour le bucket OSS sont configurées.

• Dans les environnements de développement et de production, le nœud utilise une identité d'accès disposant des autorisations décrites dans la rubrique Responsabilités de l'administrateur de l'espace de travail. Vérifiez que les autorisations du bucket OSS sont correctement configurées.

Étape 1 : Configurer le nœud

Après avoir créé un nœud d'inspection d'objet OSS, ouvrez-le et suivez les instructions à l'écran pour configurer ses propriétés.

1. Configurez l'objet et la politique de détection.

   • OSS Object : saisissez le chemin de l'objet OSS à vérifier. Les paramètres de planification tels que ${bizdate} et ${cyctime} sont pris en charge.

   • Timeout : durée maximale d'attente pour l'objet. Si l'objet n'est pas trouvé dans ce délai, le nœud arrête les vérifications et la tâche échoue.

2. Une fois le nœud configuré, définissez ses propriétés de planification. Pour plus d'informations, consultez la rubrique Configurer les propriétés de planification d'un nœud.

Étape 2 : Déployer et exploiter le nœud

1. Après avoir configuré les propriétés de planification, déployez le nœud dans l'environnement de production. Pour plus d'informations, consultez la rubrique Déployer des nœuds et des flux de travail.

2. Une fois le nœud déployé, il s'exécute périodiquement selon ses propriétés de planification. Consultez et gérez les tâches déployées dans l'onglet Operation and Maintenance Center > Node O&M > Auto Triggered Task O&M > Auto Triggered Task. Pour plus d'informations, consultez la rubrique Présentation du centre d'opérations.