Démarrage rapide avec les jobs JAR Flink - Realtime Compute for Apache Flink

Prérequis

Si vous utilisez un utilisateur RAM ou un rôle RAM, assurez-vous de disposer des autorisations requises pour la console Flink. Pour plus d'informations, consultez la rubrique Gestion des autorisations.
Vous avez créé un espace de travail Flink. Pour plus d'informations, consultez la rubrique Activer Realtime Compute for Apache Flink.

Étape 1 : Développer le package JAR

La Development Console de Realtime Compute for Apache Flink ne fournit pas d'environnement de développement intégré (IDE) pour les packages JAR. Vous devez développer, compiler et empaqueter votre job localement. Pour savoir comment configurer les dépendances, utiliser les connecteurs et lire les fichiers dépendants depuis Object Storage Service (OSS), consultez la rubrique Développer un job JAR Flink.

Important

Assurez-vous que la version de Flink utilisée pour le développement local correspond à la version du moteur sélectionnée à l'Étape 3 : Déployer le job JAR. Faites également attention à la portée du package de dépendances.

Pour vous aider à démarrer rapidement avec les jobs JAR Flink, ce guide met à votre disposition un exemple de package JAR de comptage de mots ainsi qu'un fichier de données. Téléchargez ces fichiers pour suivre les étapes suivantes.

Cliquez sur FlinkQuickStart-1,0-SNAPSHOT.jar pour télécharger le package JAR de test.

Si le code source vous intéresse, cliquez sur FlinkQuickStart.zip pour le télécharger et le compiler.
Cliquez sur Shakespeare pour télécharger le fichier de données.

Étape 2 : Télécharger le package JAR et le fichier de données

Connectez-vous à la console Realtime Compute.
Repérez l'espace de travail Flink cible et cliquez sur Console dans la colonne Actions.
Dans le volet de navigation de gauche, cliquez sur Artifacts.
Cliquez sur Upload Artifact pour télécharger le package JAR et le fichier de données.

Dans ce tutoriel, téléchargez les fichiers FlinkQuickStart-1,0-SNAPSHOT.jar et Shakespeare téléchargés à l'étape 1. Pour plus d'informations sur les chemins de stockage des fichiers, consultez la rubrique Artifacts.

Étape 3 : Déployer le job JAR

Job en streaming

Sur la page O&M > Deployments, cliquez sur Create Deployment et sélectionnez JAR Deployment.

Configurez les paramètres de déploiement.

Paramètre	Description	Exemple
Deployment mode	Sélectionnez Stream Mode comme mode de déploiement.	Stream Mode
Deployment name	Saisissez un nom pour le job JAR.	flink-streaming-test-jar
Engine version	Version du moteur Flink pour le job. Nous vous recommandons d'utiliser une version portant le tag RECOMMENDED ou STABLE pour une meilleure fiabilité et de meilleures performances. Pour plus d'informations, consultez les rubriques Notes de version et Versions du moteur.	vvr-8.0.9-flink-1.17
JAR URI	Sélectionnez le fichier FlinkQuickStart-1,0-SNAPSHOT.jar téléchargé à l'étape 2. Vous pouvez également cliquer sur l'icône pour télécharger votre propre package JAR. Si le fichier existe déjà sur la page Artifacts, vous pouvez le sélectionner directement. Remarque Le moteur Realtime Compute for Apache Flink VVR 8.0.6 et versions ultérieures peut uniquement accéder au bucket lié à l'espace de travail.	-
Entry point class	Point d'entrée du programme. Si le package JAR ne spécifie pas de classe principale, saisissez son nom de classe qualifié complet. Le package JAR de test fourni dans cette documentation contient du code pour un job en streaming et un job par lots. Par conséquent, vous devez spécifier le point d'entrée pour le job en streaming.	org.example.WordCountStreaming
Entry point main arguments	Arguments à transmettre à la méthode principale. Pour ce tutoriel, saisissez le chemin de stockage du fichier de données d'entrée `Shakespeare`.	`--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/Shakespeare` Vous pouvez copier le chemin complet du fichier Shakespeare depuis la page Artifacts .
Deployment target	Dans la liste déroulante, sélectionnez une resource queue ou un session cluster cible. Pour plus d'informations, consultez les rubriques Gérer les files d'attente de ressources et Étape 1 : Créer un cluster de session. Important Les jobs déployés sur un cluster de session ne prennent pas en charge la surveillance des alertes, la configuration des alertes ni le réglage automatique. N'utilisez pas de clusters de session dans des environnements de production. Les clusters de session sont destinés au développement et aux tests. Pour plus d'informations, consultez la rubrique Déboguer un job.	default-queue

Pour plus d'informations sur les paramètres de configuration, consultez la rubrique Déployer un job.

Cliquez sur Deploy.

Job par lots

Sur la page O&M > Deployments, cliquez sur Create Deployment et sélectionnez JAR Deployment.

Configurez les paramètres de déploiement.

Paramètre	Description	Exemple
Deployment mode	Sélectionnez Batch Mode comme mode de déploiement.	Batch Mode
Deployment name	Saisissez un nom pour le job JAR.	flink-batch-test-jar
Engine version	Version du moteur Flink pour le job. Nous vous recommandons d'utiliser une version portant le tag RECOMMENDED ou STABLE pour une meilleure fiabilité et de meilleures performances. Pour plus d'informations, consultez les rubriques Notes de version et Versions du moteur.	vvr-8.0.9-flink-1.17
JAR URI	Sélectionnez le fichier FlinkQuickStart-1,0-SNAPSHOT.jar téléchargé à l'étape 2. Vous pouvez également cliquer sur l'icône pour télécharger votre propre package JAR.	-
Entry point class	Classe d'entrée du programme. Si votre package JAR ne spécifie pas de classe principale, saisissez ici le nom qualifié complet de votre Endpoint Class. Le package JAR de test fourni dans cette documentation contient du code pour un job en streaming et un job par lots. Par conséquent, vous devez spécifier le point d'entrée pour le job par lots.	org.example.WordCountBatch
Entry point main arguments	Arguments à transmettre à la méthode principale. Pour ce tutoriel, saisissez les chemins de stockage du fichier de données d'entrée `Shakespeare` et du fichier de données de sortie `batch-quickstart-test-output.txt`. Remarque Spécifiez le chemin complet du fichier de sortie. Le système crée ce fichier automatiquement. Dans ce tutoriel, le chemin de sortie place le fichier dans le même répertoire que le fichier d'entrée.	`--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/Shakespeare` `--output oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txt` Vous pouvez copier le chemin complet du fichier Shakespeare depuis la page Artifacts.
Deployment target	Dans la liste déroulante, sélectionnez une resource queue ou un session cluster cible. Pour plus d'informations, consultez les rubriques Gérer les files d'attente de ressources et Étape 1 : Créer un cluster de session. Important Les jobs déployés sur un cluster de session ne prennent pas en charge la surveillance des alertes, la configuration des alertes ni le réglage automatique. N'utilisez pas de clusters de session dans des environnements de production. Les clusters de session sont destinés au développement et aux tests. Pour plus d'informations, consultez la rubrique Déboguer un job.	default-queue

Pour plus d'informations sur les paramètres de configuration, consultez la rubrique Déployer un job.

Cliquez sur Deploy.

Étape 4 : Démarrer le job et afficher les résultats

Job en streaming

Sur la page O&M > Deployments, repérez le job cible et cliquez sur Start dans la colonne Actions.
Sélectionnez Initial Mode et cliquez sur Start. Pour plus d'informations sur le démarrage d'un job, consultez la rubrique Démarrer un job.
Une fois que le statut du job passe à RUNNING, consultez les résultats du job en streaming.

Dans le fichier journal TaskManager se terminant par .out, recherchez shakespeare pour afficher les résultats Flink.

Pour trouver le fichier journal, accédez à l'onglet Logs, sélectionnez un TaskManager en cours d'exécution sous Running Task Managers, puis cliquez sur l'onglet Log List. Ouvrez le fichier flink.out et recherchez shakespeare pour localiser les résultats, tels que (shakespeare,1).

Job par lots

Sur la page O&M > Deployments, repérez le job cible et cliquez sur Start dans la colonne Actions.
Dans la boîte de dialogue Start Job, cliquez sur Start. Pour plus d'informations sur le démarrage d'un job, consultez la rubrique Démarrer un job.
Une fois que le statut du job passe à FINISHED, consultez les résultats du job par lots.

Connectez-vous à la console OSS et affichez les résultats dans le fichier oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txt.

Voici un exemple des résultats issus du fichier batch-quickstart-test-output.txt.
```
a 164
abhor 2
abide 2
able 1
about 1
above 4
absence 5
absent 4
abundance 4
abundant 1
abuse 3
abused 1
abuses 1
abysm 1
accents 1
acceptable 1
acceptance 1
```

Remarque

Le nombre d'entrées de résultats pour le job en streaming et le job par lots peut différer, car le journal TaskManager.out affiche un maximum de 2 000 entrées. Pour plus d'informations sur cette limitation, consultez la rubrique Print.

(Facultatif) Étape 5 : Arrêter le job

Pour appliquer des modifications à un job (telles que des modifications de code, des mises à jour des paramètres WITH ou des changements de version), vous devez le redéployer, l'arrêter, puis le redémarrer. Un redémarrage est également requis pour un démarrage sans état ou pour appliquer des modifications de configuration non dynamiques. Pour plus d'informations sur l'arrêt d'un job, consultez la rubrique Arrêter un job.

Documentation connexe

Vous pouvez configurer les ressources du job avant de le démarrer ou modifier les ressources une fois le job en cours d'exécution. Les modes de ressources Basic (granularité grossière) et Expert (granularité fine) sont pris en charge. Pour plus d'informations, consultez la rubrique Configurer les ressources du job.
Découvrez comment mettre à jour dynamiquement les paramètres et les ressources du job pour appliquer les modifications plus rapidement et réduire les interruptions liées aux redémarrages de jobs. Pour plus d'informations, consultez la rubrique Mise à l'échelle dynamique et mises à jour des paramètres.
Configurez les niveaux de journalisation et spécifiez des sorties distinctes pour différents niveaux. Pour plus d'informations, consultez la rubrique Configurer la sortie des journaux de job.
Suivez un exemple simple pour découvrir le flux de développement complet d'un job Flink SQL. Pour plus d'informations, consultez la rubrique Jobs Flink SQL.
Construire un entrepôt de données en temps réel avec Hologres.
Construire un lakehouse en streaming avec Paimon et StarRocks.