Le nœud Flink JAR Batch vous permet d'exécuter des jobs batch Flink en soumettant des packages JAR. Dans DataWorks, vous sélectionnez une resource Flink JAR téléchargée comme point d'entrée du job, configurez la classe de point d'entrée et les paramètres de planification, puis développez et déployez des jobs de traitement par lot de données à grande échelle. Cette rubrique décrit comment développer et configurer un nœud Flink JAR Batch dans DataWorks.
Prérequis
Vous avez associé une compute resource pour Realtime Compute for Apache Flink dans Administration. Pour plus d'informations, consultez Associer une compute resource Flink entièrement gérée.
Vous avez téléchargé une resource Flink JAR. Pour plus d'informations, consultez Resources et fonctions Flink.
Vous avez créé un nœud Flink JAR Batch. Pour plus d'informations, consultez Créer un nœud pour un workflow de planification.
-
L'utilisateur RAM ou le rôle RAM pour DataWorks nécessite les permissions API suivantes pour appeler les API Realtime Compute for Apache Flink. Ces permissions sont requises pour soumettre et déployer le nœud sur un cluster Flink. Pour plus d'informations, consultez Ajouter des permissions.
{ "Version": "1", "Statement": [ { "Effect": "Allow", "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"], "Resource": ["*"] } ] }
Limitation
Seuls les serverless resource groups sont pris en charge. Les legacy exclusive resource groups for scheduling ne sont pas pris en charge.
Étape 1 : Configurer le nœud Flink JAR Batch
Sur la page d'édition du nœud Flink JAR Batch, configurez les paramètres suivants.
Configurer les paramètres principaux
Dans le volet gauche de la page d'édition du nœud, configurez les paramètres suivants.
Paramètre | Description |
Fichier JAR | Obligatoire. Dans la liste déroulante, sélectionnez une resource Flink JAR téléchargée dans Resource Management. |
Classe de point d'entrée | Classe de point d'entrée du programme. Si le package JAR ne spécifie pas de classe principale, vous devez fournir le chemin complet de la classe de point d'entrée. |
Arguments principaux du point d'entrée | Arguments transmis à la méthode principale. Vous pouvez saisir plusieurs arguments. |
Fichiers de dépendance supplémentaires | Dans la liste déroulante, sélectionnez une resource Flink File téléchargée à utiliser comme dépendance supplémentaire. Remarque Si la cible de déploiement pour la compute resource Flink est un cluster Session, les fichiers de dépendance supplémentaires ne prennent pas effet. |
Configurer la planification
Dans le volet Scheduling Settings situé à droite de la page d'édition, configurez les paramètres suivants.
Informations sur la resource Flink
|
Paramètre |
Description |
|
Flink cluster |
Nom de la compute resource Flink entièrement gérée associée dans Administration. |
|
Flink engine version |
Sélectionnez une version du moteur en fonction de vos besoins. |
|
Resource Group |
Sélectionnez un serverless resource group disposant d'une connectivité réseau avec Flink. |
|
CPU Job Manager |
Selon les bonnes pratiques Flink, JobManager nécessite au moins 0,5 cœur CPU et 2 GiB de mémoire pour un fonctionnement stable. Nous recommandons 1 cœur CPU et 4 GiB de mémoire. Le maximum est de 16 cœurs CPU. |
|
Mémoire Job Manager |
La mémoire allouée à JobManager affecte sa capacité à gérer les tâches de planification et de management. La plage recommandée est de 2 GiB à 64 GiB. |
|
CPU Task Manager |
Le CPU alloué à TaskManager affecte sa capacité de traitement des tâches. Nous recommandons au moins 0,5 cœur CPU et 2 GiB de mémoire. La configuration recommandée est de 1 cœur CPU et 4 GiB de mémoire. Le maximum est de 16 cœurs CPU. |
|
Mémoire Task Manager |
La mémoire allouée à TaskManager détermine le volume de données et les performances pour le traitement des tâches. La mémoire minimale est de 2 GiB et la maximale de 64 GiB. |
|
Concurrency |
Nombre de tâches pouvant être exécutées en parallèle dans un job Flink. Vous pouvez sélectionner Auto Infer pour laisser le système déterminer automatiquement le parallélisme en fonction des caractéristiques du job. |
|
Slots maximum |
Nombre maximum de slots disponibles pour le job. Ce paramètre limite la borne supérieure des resources que le job peut utiliser. |
|
Number of slots per TaskManager |
Le nombre de slots par TaskManager détermine combien de tâches il peut exécuter en parallèle. |
Paramètres de planification
Vous pouvez configurer les paramètres de planification dans la section Scheduling Parameters pour activer le passage dynamique de paramètres dans les scénarios de planification. Pour plus d'informations, consultez Configurer les paramètres de planification.
Pour les autres configurations liées à la planification, y compris Flink Runtime Parameters, Scheduling Policy, Scheduling Time et Scheduling Dependencies, consultez les descriptions de configuration correspondantes dans Nœud Flink SQL Batch.
Une fois la configuration de la tâche terminée, cliquez sur Save pour enregistrer le nœud.
Étape 2 : Exécuter le nœud Flink JAR Batch
La tâche doit être déployée dans Operation Center avant de pouvoir s'exécuter. Suivez les instructions à l'écran pour déployer le nœud Flink JAR Batch. Pour plus d'informations, consultez Déployer un nœud. Après le déploiement, vous pouvez consulter l'état d'exécution des instances planifiées dans Operation Center.