Ce guide explique comment créer, déployer et démarrer des tâches Flink JAR en mode streaming et par lots afin d'illustrer le flux de travail dans Realtime Compute for Apache Flink.
Prérequis
Si vous utilisez un utilisateur RAM ou un rôle RAM, assurez-vous de disposer des autorisations requises pour la console Flink. Pour plus d'informations, consultez la rubrique Gestion des autorisations.
Un espace de travail Flink doit être créé. Pour plus d'informations, consultez la rubrique Activer Realtime Compute for Apache Flink.
Étape 1 : Développer le package JAR
La Development Console de Realtime Compute for Apache Flink ne fournit pas d'environnement de développement intégré (IDE) pour les packages JAR. Développez, compilez et empaquetez votre tâche localement. Pour savoir comment configurer les dépendances, utiliser les connecteurs et lire les fichiers dépendants depuis Object Storage Service (OSS), consultez la rubrique Développer une tâche JAR Flink.
Assurez-vous que la version de Flink utilisée pour le développement local correspond à la version du moteur sélectionnée à l'Étape 3 : Déployer la tâche JAR. Vérifiez également le périmètre du package de dépendances.
Pour vous aider à démarrer rapidement avec les tâches JAR Flink, ce guide propose un exemple de package JAR de comptage de mots ainsi qu'un fichier de données. Téléchargez ces fichiers pour suivre les étapes suivantes.
-
Cliquez sur FlinkQuickStart-1.0-SNAPSHOT.jar pour télécharger le package JAR de test.
Si le code source vous intéresse, cliquez sur FlinkQuickStart.zip pour le télécharger et le compiler.
Cliquez sur Shakespeare pour télécharger le fichier de données.
Étape 2 : Télécharger le package JAR et le fichier de données
Connectez-vous à la console Realtime Compute.
Localisez l'espace de travail Flink cible et cliquez sur Console dans la colonne Actions.
Dans le volet de navigation de gauche, cliquez sur Artifacts.
-
Cliquez sur Upload Artifact pour télécharger le package JAR et le fichier de données.
Dans ce tutoriel, téléchargez les fichiers FlinkQuickStart-1.0-SNAPSHOT.jar et Shakespeare téléchargés à l'étape 1. Pour plus d'informations sur les chemins de stockage des fichiers, consultez la rubrique Artifacts.
Étape 3 : Déployer la tâche JAR
Streaming job
Sur la page , cliquez sur Create Deployment et sélectionnez JAR Deployment.
-
Configurez les paramètres de déploiement.
Parameter
Description
Example
Deployment mode
Sélectionnez Stream Mode comme mode de déploiement.
Stream Mode
Deployment name
Saisissez un nom pour la tâche JAR.
flink-streaming-test-jar
Engine version
Version du moteur Flink pour la tâche.
Nous vous recommandons d'utiliser une version portant l'étiquette RECOMMENDED ou STABLE pour une meilleure fiabilité et de meilleures performances. Pour plus d'informations, consultez les rubriques Notes de version et Versions du moteur.
vvr-8.0.9-flink-1.17
JAR URI
Sélectionnez le fichier FlinkQuickStart-1.0-SNAPSHOT.jar téléchargé à l'étape 2. Vous pouvez également cliquer sur l'icône
pour télécharger votre propre package JAR.Si le fichier existe déjà sur la page Artifacts, sélectionnez-le directement.
RemarqueLe moteur Realtime Compute for Apache Flink VVR 8.0.6 et versions ultérieures peut uniquement accéder au bucket lié à l'espace de travail.
-
Entry point class
Point d'entrée du programme. Si le package JAR ne spécifie pas de classe principale, saisissez son nom de classe complet.
Le package JAR de test fourni dans cette documentation contient le code d'une tâche en mode streaming et d'une tâche par lots. Spécifiez donc le point d'entrée de la tâche en mode streaming.
org.example.WordCountStreaming
Entry point main arguments
Arguments à transmettre à la méthode principale.
Pour ce tutoriel, saisissez le chemin de stockage du fichier de données d'entrée
Shakespeare.--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/ShakespeareCopiez le chemin d'accès complet du fichier Shakespeare depuis la page Artifacts .
Deployment target
Dans la liste déroulante, sélectionnez une resource queue ou un session cluster cible. Pour plus d'informations, consultez les rubriques Gérer les files d'attente de ressources et Étape 1 : Créer un session cluster.
ImportantLes tâches déployées sur un session cluster ne prennent pas en charge la surveillance des alertes, la configuration des alertes ni l'ajustement automatique. N'utilisez pas de session clusters dans les environnements de production. Les session clusters sont destinés au développement et aux tests. Pour plus d'informations, consultez la rubrique Déboguer une tâche.
default-queue
Pour plus d'informations sur les paramètres de configuration, consultez la rubrique Déployer une tâche.
Cliquez sur Deploy.
Batch job
Sur la page , cliquez sur Create Deployment et sélectionnez JAR Deployment.
-
Configurez les paramètres de déploiement.
Parameter
Description
Example
Deployment mode
Sélectionnez Batch Mode comme mode de déploiement.
Batch Mode
Deployment name
Saisissez un nom pour la tâche JAR.
flink-batch-test-jar
Engine version
Version du moteur Flink pour la tâche.
Nous vous recommandons d'utiliser une version portant l'étiquette RECOMMENDED ou STABLE pour une meilleure fiabilité et de meilleures performances. Pour plus d'informations, consultez les rubriques Notes de version et Versions du moteur.
vvr-8.0.9-flink-1.17
JAR URI
Sélectionnez le fichier FlinkQuickStart-1.0-SNAPSHOT.jar téléchargé à l'étape 2. Vous pouvez également cliquer sur l'icône
pour télécharger votre propre package JAR.-
Entry point class
Classe d'entrée du programme. Si votre package JAR ne spécifie pas de classe principale, saisissez ici le nom complet de votre Endpoint Class.
Le package JAR de test fourni dans cette documentation contient le code d'une tâche en mode streaming et d'une tâche par lots. Spécifiez donc le point d'entrée de la tâche par lots.
org.example.WordCountBatch
Entry point main arguments
Arguments à transmettre à la méthode principale.
Pour ce tutoriel, saisissez les chemins de stockage du fichier de données d'entrée
Shakespeareet du fichier de données de sortiebatch-quickstart-test-output.txt.RemarqueSpécifiez le chemin d'accès complet pour le fichier de sortie. Le système crée ce fichier automatiquement. Dans ce tutoriel, le chemin de sortie place le fichier dans le même répertoire que le fichier d'entrée.
--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/Shakespeare--output oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txtCopiez le chemin d'accès complet du fichier Shakespeare depuis la page Artifacts.
Deployment target
Dans la liste déroulante, sélectionnez une resource queue ou un session cluster cible. Pour plus d'informations, consultez les rubriques Gérer les files d'attente de ressources et Étape 1 : Créer un session cluster.
ImportantLes tâches déployées sur un session cluster ne prennent pas en charge la surveillance des alertes, la configuration des alertes ni l'ajustement automatique. N'utilisez pas de session clusters dans les environnements de production. Les session clusters sont destinés au développement et aux tests. Pour plus d'informations, consultez la rubrique Déboguer une tâche.
default-queue
Pour plus d'informations sur les paramètres de configuration, consultez la rubrique Déployer une tâche.
Cliquez sur Deploy.
Étape 4 : Démarrer la tâche et afficher les résultats
Streaming job
Sur la page , localisez la tâche cible et cliquez sur Start dans la colonne Actions.
Sélectionnez Initial Mode et cliquez sur Start. Pour savoir comment démarrer une tâche, consultez la rubrique Démarrer une tâche.
-
Une fois que l'état de la tâche passe à RUNNING, consultez les résultats de la tâche en mode streaming.
Dans le fichier journal TaskManager se terminant par .out, recherchez
shakespearepour afficher les résultats Flink.Pour trouver le fichier journal, accédez à l'onglet Logs, sélectionnez un TaskManager en cours d'exécution sous Running Task Managers, puis cliquez sur l'onglet Log List. Ouvrez le fichier
flink.outet recherchezshakespearepour localiser les résultats, tels que (shakespeare,1).
Batch job
Sur la page , localisez la tâche cible et cliquez sur Start dans la colonne Actions.
Dans la boîte de dialogue Start Job, cliquez sur Start. Pour savoir comment démarrer une tâche, consultez la rubrique Démarrer une tâche.
-
Une fois que l'état de la tâche passe à FINISHED, consultez les résultats de la tâche par lots.
Connectez-vous à la console OSS et affichez les résultats dans le fichier oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txt.
Voici un exemple des résultats issus du fichier
batch-quickstart-test-output.txt.a 164 abhor 2 abide 2 able 1 about 1 above 4 absence 5 absent 4 abundance 4 abundant 1 abuse 3 abused 1 abuses 1 abysm 1 accents 1 acceptable 1 acceptance 1
Le nombre d'entrées de résultats pour la tâche en mode streaming et la tâche par lots peut différer, car le journal TaskManager.out affiche un maximum de 2 000 entrées. Pour plus d'informations sur cette limitation, consultez la rubrique Print.
(Facultatif) Étape 5 : Arrêter la tâche
Pour appliquer des modifications à une tâche (telles que des modifications de code, des mises à jour des paramètres WITH ou des changements de version), redéployez-la, arrêtez-la, puis redémarrez-la. Un redémarrage est également requis pour un démarrage sans état ou pour appliquer des modifications de configuration non dynamiques. Pour plus d'informations sur l'arrêt d'une tâche, consultez la rubrique Arrêter une tâche.
Documentation connexe
Vous pouvez configurer les ressources de la tâche avant de la démarrer ou modifier les ressources une fois la tâche en cours d'exécution. Les modes de ressources Basic (granularité grossière) et Expert (granularité fine) sont pris en charge. Pour plus d'informations, consultez la rubrique Configurer les ressources de la tâche.
Découvrez comment mettre à jour dynamiquement les paramètres et les ressources de la tâche pour appliquer les modifications plus rapidement et réduire les interruptions liées aux redémarrages de tâches. Pour plus d'informations, consultez la rubrique Mise à l'échelle dynamique et mises à jour des paramètres.
Configurez les niveaux de journalisation et spécifiez des sorties distinctes pour différents niveaux. Pour plus d'informations, consultez la rubrique Configurer la sortie des journaux de tâche.
Suivez un exemple simple pour découvrir le flux de développement complet d'une tâche Flink SQL. Pour plus d'informations, consultez la rubrique Tâches Flink SQL.
Construire un entrepôt de données en temps réel avec Hologres.
Construire un lakehouse en temps réel avec Paimon et StarRocks.