Utilisation du nœud Flink JAR Streaming - DataWorks - Centre de documentation Alibaba Cloud

Utilisez un nœud Flink JAR Streaming pour exécuter des tâches Flink en temps réel à partir d'un package JAR. Dans DataWorks, sélectionnez une ressource Flink JAR téléchargée comme point d'entrée du job, configurez la classe de point d'entrée et les paramètres d'exécution, puis développez et déployez une tâche de traitement de données en temps réel. Cette rubrique décrit comment développer et configurer un nœud Flink JAR Streaming dans DataWorks.

Prérequis

Vous avez associé un moteur de calcul Flink entièrement géré dans Administration. Pour plus d'informations, consultez la rubrique Associer une ressource de calcul Flink entièrement gérée.
Vous avez téléchargé une ressource Flink JAR. Pour plus d'informations, consultez la rubrique Ressources et fonctions Flink.
Vous avez créé un nœud Flink JAR Streaming. Pour plus d'informations, consultez la rubrique Créer des nœuds pour les workflows planifiés.
Accordez les permissions OpenAPI suivantes à l'utilisateur RAM ou au rôle RAM utilisé par DataWorks pour appeler l'OpenAPI de Realtime Compute for Apache Flink. Ces permissions permettent de soumettre et de déployer des tâches de nœud sur un cluster Flink.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

Limites

Ce nœud ne peut pas faire partie d'un workflow ; il doit être développé et exécuté en tant que nœud autonome.
Seuls les groupes de ressources serverless sont pris en charge. Les anciens groupes de ressources exclusifs pour la planification ne sont pas pris en charge.

Étape 1 : Configurer le nœud Flink JAR Streaming

Sur la page d'édition du nœud Flink JAR Streaming, configurez les paramètres suivants.

Paramètres principaux

Dans le volet gauche de la page d'édition du nœud, configurez les paramètres suivants.

Paramètre	Description
Fichier JAR	Obligatoire. Sélectionnez une ressource Flink JAR depuis Gestion des ressources.
Classe de point d'entrée	La classe de point d'entrée de votre programme. Si le package JAR ne spécifie pas de classe principale, saisissez le nom complet qualifié de la classe de point d'entrée.
Arguments principaux du point d'entrée	Les arguments principaux du job, transmis à la méthode main. Plusieurs arguments sont pris en charge.
Dépendances supplémentaires	Sélectionnez un fichier Flink téléchargé comme dépendance supplémentaire dans la liste déroulante. Remarque Si la cible de déploiement dans la ressource de calcul Flink est définie sur un cluster Session, les dépendances supplémentaires ne prennent pas effet.

Configurer les ressources Flink

Dans la section Flink resource information du volet Real-Time configuration situé à droite de la page d'édition, configurez les paramètres suivants en fonction du Resource Mode. Pour plus d'informations, consultez la rubrique Configurer les ressources du job.

Paramètre	Description
Flink cluster	Le nom de la ressource de calcul Flink entièrement gérée associée dans Administration.
Flink engine version	Sélectionnez une version du moteur en fonction de vos besoins métier.
Resource Group	Sélectionnez un groupe de ressources serverless disposant d'une connectivité réseau avec Flink.
Resource Mode	Les deux modes suivants sont pris en charge. Pour plus d'informations, consultez la rubrique Configurer les ressources du job. Basic mode (par défaut) : Adapté aux débutants et aux scénarios simples. Utilise des configurations par défaut et des paramètres simplifiés pour démarrer et exécuter rapidement des jobs Flink. Expert mode : Propose des options de configuration avancées pour les utilisateurs expérimentés, permettant un réglage fin des performances et des ressources afin de répondre à des exigences complexes ou de haute performance.
CPU Job Manager	Selon les bonnes pratiques Flink, JobManager nécessite au moins 0,5 cœur CPU et 2 Go de mémoire pour fonctionner de manière stable. Nous recommandons 1 cœur CPU et 4 Go de mémoire, avec un maximum de 16 cœurs CPU.
Mémoire Job Manager	La configuration de la mémoire de JobManager affecte sa capacité à gérer les tâches de planification et de gestion. La plage recommandée est de 2 Go à 64 Go.
CPU Task Manager	La configuration CPU de TaskManager affecte sa capacité de traitement des tâches. Nous recommandons au moins 0,5 cœur CPU et 2 Go de mémoire, avec une configuration recommandée de 1 cœur CPU et 4 Go de mémoire, et un maximum de 16 cœurs CPU.
Mémoire Task Manager	La configuration de la mémoire de TaskManager détermine le volume de données et les performances du traitement des tâches. La taille minimale de la mémoire est de 2 Go et la maximale de 64 Go.
Concurrency	Détermine le nombre d'exécutions de tâches parallèles dans un job Flink. Une concurrence plus élevée peut améliorer la vitesse de traitement et l'utilisation des ressources. Définissez ce paramètre en fonction des ressources du cluster et des caractéristiques du job.
Number of slots per TaskManager	Le nombre de slots par TaskManager détermine le nombre de tâches pouvant être exécutées en parallèle. Vous pouvez ajuster la configuration des slots pour optimiser l'utilisation des ressources et la capacité de traitement parallèle.

(Facultatif) Configurer les paramètres de script

Dans la section Script Parameters du volet Real-Time configuration situé à droite, cliquez sur Add parameters et modifiez le Parameter name et la Parameter Value.

(Facultatif) Configurer les paramètres d'exécution Flink

Dans la section Flink running parameters du volet Real-Time configuration situé à droite, configurez les paramètres suivants. Pour plus d'informations, consultez la rubrique Configurer le déploiement du job.

Paramètre	Description
System Checkpoint Interval	Ce paramètre spécifie l'intervalle auquel Flink effectue périodiquement des points de contrôle système. Un intervalle plus court réduit le temps de récupération après incident, mais augmente la surcharge système. Si ce paramètre n'est pas spécifié, les points de contrôle système sont désactivés.
Minimum time interval between two system checkpoints	Ce paramètre spécifie le temps de pause minimal que Flink doit respecter entre deux points de contrôle consécutifs afin d'éviter que des points de contrôle trop fréquents n'affectent les performances du système.
Délai d'expiration des données d'état	Ce paramètre spécifie la durée maximale pendant laquelle les données d'état d'un job Flink peuvent être conservées sans être consultées ou mises à jour. La valeur par défaut est de 36 heures. Important La valeur par défaut est basée sur les bonnes pratiques cloud et diffère de la valeur par défaut open source (0, ce qui signifie que les données d'état n'expirent jamais).
Others	D'autres paramètres d'exécution Flink sont pris en charge. Par exemple : `taskmanager.network.memory.max:4g`.

Une fois la configuration de la tâche terminée, cliquez sur Save pour enregistrer la tâche du nœud.

Étape 2 : Démarrer le nœud Flink JAR Streaming

Déployez le nœud Flink JAR Streaming.

Les tâches doivent être déployées dans Operation Center avant de pouvoir être exécutées. Suivez les instructions à l'écran pour déployer le nœud Flink JAR Streaming. Pour plus d'informations, consultez la rubrique Déploiement des nœuds et des workflows.
Démarrez le nœud Flink JAR Streaming.

Une fois la tâche déployée, cliquez sur Go to operation and maintenance sous Deploy to production environment. Dans Operation Center, accédez à Node O&M > Real-time Task O&M > Real-time computing tasks, recherchez la tâche que vous souhaitez démarrer, puis cliquez sur Start dans la colonne Operation pour démarrer et surveiller la tâche en temps réel.