SchedulerX vous permet de planifier périodiquement des tâches DataWorks et d'orchestrer ces tâches avec d'autres jobs dans SchedulerX afin de traiter vos données.
Prérequis
Connectez-vous à la console DataWorks et activez l'édition Enterprise de DataWorks.
Procédure d'accès client
Utiliser les dépendances du SDK
Utilisez les dépendances du client SDK SchedulerX.
Mettez à niveau le client SchedulerX vers la version 1.3.4 ou ultérieure.
-
Lorsque vous connectez le client à l'édition Enterprise de DataWorks, inscrivez l'AccessKey ID et l'AccessKey secret de votre compte Alibaba Cloud dans la configuration de démarrage. Assurez-vous que votre compte Alibaba Cloud dispose des autorisations d'opération sur l'édition Enterprise de DataWorks.
# Account information that is used to access DataWorks. spring.schedulerx2.aliyunAccessKey=AccessKey ID of the Alibaba Cloud account spring.schedulerx2.aliyunSecretKey=AccessKey secret of the Alibaba Cloud account
Utiliser un agent
Si vous utilisez un agent pour l'accès, déployez l'agent et accédez à DataWorks en suivant les instructions de la rubrique Utilisation de l'agent SchedulerX pour connecter une application à SchedulerX (tâches Script ou HTTP). Les éléments suivants sont requis :
-
Package d'installation. Cliquez sur ce lien pour le télécharger.
Ajoutez l'AccessKey ID et l'AccessKey secret du compte Alibaba Cloud disposant des permissions nécessaires pour opérer DataWorks aux paramètres de démarrage dans le fichier agent.properties.
# Account information that is used to access DataWorks. aliyunAccessKey={ALIYUN_ACCESS_KEY} aliyunSecretKey={ALIYUN_SECRET_KEY} -
Images Docker
Sélectionnez une image Docker en fonction de votre type de réseau et de l'architecture de votre CPU.
Type de réseau
x86_64
arm64
Internet
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
VPC (China Hangzhou)
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
Si vous utilisez une image Docker pour le démarrage, configurez les variables d'environnement de démarrage
ALIYUN_ACCESS_KEYetALIYUN_SECRET_KEY.
Créer une tâche DataWorks
-
Effectuez les opérations suivantes dans la console DataWorks :
Créez un flux de travail déclenché manuellement. Pour plus d'informations, consultez la rubrique Création d'un flux de travail déclenché manuellement.
Créez un nœud sans configurer de dépendances. Pour plus d'informations, consultez la rubrique Création de nœuds et configuration des dépendances entre nœuds.
Soumettez un flux de travail. Pour plus d'informations, consultez la rubrique Soumission d'un flux de travail.
-
Effectuez les opérations suivantes dans la console SchedulerX :
-
Créez un flux de travail et ajoutez-y des nœuds DataWorks. Pour plus d'informations, consultez la rubrique Création d'un flux de travail.
Sur la page Create Job, configurez les paramètres suivants : définissez job type sur dataworks, execution mode sur standalone et priority sur Medium. Pour job parameters, saisissez
schedulerX 2.0. Configurez les autres paramètres requis, tels que Description, application ID, Workflow Name, Job ID, Project Name et deployment region. Ensuite, cliquez sur Next. Une fois la tâche ajoutée, faites glisser les points aux extrémités de cette tâche vers les points d'une autre tâche pour créer une relation de dépendance. Vous obtenez ainsi un flux de travail complet.
Configurez le déclenchement planifié pour le flux de travail créé. Pour plus d'informations, consultez la rubrique Cron.
-
Résultats
Après le déclenchement du flux de travail, vous pouvez consulter la progression du workflow et l'état de chaque nœud dans la liste des instances de flux de travail. Vous pouvez effectuer un clic droit sur un nœud pour afficher les détails du résultat d'exécution de ce nœud.
Étapes suivantes
Dans la liste des instances de tâches SchedulerX, vous pouvez consulter les détails d'exécution d'un nœud de tâche, arrêter une tâche ou la réexécuter.
Dans le centre d'opérations de DataWorks, vous pouvez interroger les informations relatives aux instances de nœuds DataWorks qui ont été planifiées.