La livraison des messages transmet en temps réel les journaux de démarrage, l'utilisation des ressources, les événements d'exécution et les changements d'état des jobs Flink depuis un namespace cible vers une file d'attente de messages ou un système de stockage externe. En persistant ces données, vous pouvez interroger l'historique pour le dépannage, l'optimisation des performances et l'audit. Cette rubrique explique comment configurer la livraison des messages et consulter les messages livrés.
Contexte
Cette fonctionnalité prend en charge la livraison interrégionale. Le tableau suivant décrit les types d'informations livrées et leurs déclencheurs.
|
Catégorie |
Description |
Déclencheur de livraison |
|
Journaux de démarrage des jobs |
Journaux générés pendant tout le processus de démarrage du job, depuis l'initialisation de l'environnement Flink jusqu'au démarrage du JobManager et à la génération du graphe d'exécution Flink. |
Livraison unique lors du démarrage réussi du job ou lorsqu'il atteint un état final (tel que échec ou terminé). |
|
Informations sur les ressources |
Important
Ces informations servent uniquement au suivi de la capacité des ressources et ne génèrent pas d'alertes. |
Livraison toutes les 30 secondes tant que le namespace fonctionne normalement. |
|
Événements d'exécution |
État de démarrage à chaque étape du processus de lancement du job. |
Déclenchement lors de la survenue d'un événement d'exécution de job. |
|
Consommation des ressources du job |
Utilisation des ressources des jobs de streaming en cours d'exécution. Cela n'inclut pas les jobs par lots ni les jobs s'exécutant sur un cluster de session. |
Livraison toutes les 10 minutes pendant l'exécution du job. |
|
Changement d'état du job |
Événements de changement d'état du job, incluant l'état précédent et le nouvel état. |
Déclenchement lors du changement d'état du job. |
Notes
La livraison des messages est possible uniquement vers Simple Log Service (SLS). Avant de commencer, créez un projet SLS et un Logstore. Pour obtenir des instructions, consultez Utiliser LoongCollector pour collecter et analyser des journaux textuels sur des instances ECS.
La livraison des messages est gratuite. Toutefois, l'utilisation des fonctionnalités SLS, telles que l'indexation des Logstore, est facturée. Pour plus d'informations, consultez Présentation de la facturation.
L'interrogation et l'analyse des journaux dans SLS nécessitent un index. L'activation d'un index est facultative et entraîne des frais pour le trafic et le stockage des index. Pour plus d'informations sur les frais, consultez Présentation de la facturation.
Vous pouvez configurer le chiffrement côté serveur pour le Logstore. Les messages livrés au Logstore sont également chiffrés. Pour savoir comment procéder, consultez Chiffrement des données.
La livraison des messages prend actuellement en charge uniquement les journaux de démarrage des jobs vers SLS. Configurez séparément les journaux d'exécution des jobs pour les envoyer vers OSS, SLS ou Kafka. Pour plus d'informations, consultez Configurer la sortie des journaux de job.
Les modifications apportées à la configuration de la livraison des messages peuvent prendre jusqu'à 30 secondes pour être appliquées.
Procédure
Étape 1 : Configurer la livraison des messages
-
Accédez à la page de configuration de la livraison des messages
Connectez-vous à la console Realtime Compute for Apache Flink.
Dans la colonne Actions de l'espace de travail cible, cliquez sur Console.
Dans le volet de navigation de gauche, cliquez sur .
-
Configurez les paramètres de livraison vers Log Service
Sur l'onglet Message Delivery.
-
Configurez les paramètres de Log Service.
Paramètre
Description
Mode d'autorisation
-
Deliver to SLS : ce mode livre les messages uniquement vers un projet Log Service situé dans la même région que votre espace de travail Flink. Par conséquent, configurez uniquement le projet Log Service et le Logstore.
-
STS Token : ce mode permet la livraison des messages vers un projet Log Service situé dans une autre région. Par conséquent, configurez l'endpoint, l'ID AccessKey et le secret AccessKey.
Projet Log Service
Nom du projet Log Service.
Logstore Log Service
Nom du Logstore Log Service.
endpoint
Endpoint Log Service.
Si le AccessKey est défini sur STS Token, le système utilise automatiquement l'endpoint de la région où se trouve votre espace de travail Flink. Si vous définissez le Authorization mode sur AccessKey, configurez manuellement ce paramètre.
Portée de livraison
Contenu du message à livrer. Pour plus d'informations, consultez la section Référence des champs plus loin dans cette rubrique.
ID AccessKey
ID AccessKey et secret AccessKey de votre compte Alibaba Cloud.
ImportantPour éviter l'exposition de vos identifiants AccessKey, nous vous recommandons de gérer votre ID AccessKey et votre secret AccessKey en tant que variables. Cliquez sur la flèche déroulante pour sélectionner une variable existante, ou sur l'icône
à côté du paramètre pour créer une nouvelle variable.Pour plus d'informations sur la gestion des variables et la consultation de votre ID AccessKey et de votre secret AccessKey, consultez Gestion des variables et Comment consulter les identifiants AccessKey ?
Secret AccessKey
-
Cliquez sur Authorization mode.
Étape 2 : Consulter les messages livrés
Procédure
Cliquez sur Save à droite de Open the SLS console.
-
Consultez les informations dans les journaux bruts.
Les journaux bruts sont des messages au format JSON qui contiennent des informations sur les quotas de ressources (
RESOURCE_QUOTA). Ces journaux incluent des champs tels quenamespaceTotalCpu(20,0),namespaceTotalMemory(0,08 TiB),namespaceUsedCpu(8,0),namespaceUsedMemory(23,00 GiB) etresourceQueueName(default-queue). Ces champs enregistrent les quotas et l'utilisation du CPU et de la mémoire pour le namespace et la file d'attente de ressources.
Descriptions des champs
Journaux de démarrage (JOB_START_LOG)
|
Paramètre |
Description |
|
messageType |
Type de message. Fixé à JOB_START_LOG (journal de démarrage du job). |
|
deploymentId |
ID du déploiement du job. |
|
deploymentName |
Nom du déploiement du job. |
|
jobId |
ID de l'instance de job. |
|
tag |
Tag du job. Ce champ est vide si aucun tag n'est configuré. |
|
length |
Longueur totale du journal. |
|
offset |
Pour les journaux fragmentés, ce champ spécifie le décalage de début de l'entrée de journal. |
|
content |
Détails du journal de démarrage du job. |
|
workspace |
ID de l'espace de travail. |
|
namespace |
Nom du namespace. |
|
messageId |
ID unique du message. |
|
timestamp |
Horodatage de génération du message. |
Détails des ressources (JOB_RESOURCE_QUOTA)
|
Paramètre |
Description |
|
messageType |
Type de message. Fixé à RESOURCE_QUOTA (utilisation des ressources). |
|
namespaceTotalCpuMemory |
Ce champ est obsolète. Utilisez les champs correspondants |
|
namespaceTotalCpu |
Ressources CPU totales pour le namespace, mesurées en CU. |
|
namespaceTotalMemory |
Ressources mémoire totales pour le namespace. |
|
namespaceUsedCpuMemory |
Ce champ est obsolète. Utilisez les champs correspondants |
|
namespaceUsedCpu |
Ressources CPU utilisées par le namespace, mesurées en CU. |
|
namespaceUsedMemory |
Ressources mémoire utilisées par le namespace. |
|
resourceQueueName |
Nom de la file d'attente de ressources. |
|
resourceQueueTotalCpuMemory |
Ce champ est obsolète. Utilisez les champs correspondants |
|
resourceQueueTotalCpu |
Ressources CPU totales pour la file d'attente de ressources, mesurées en CU. |
|
resourceQueueTotalMemory |
Ressources mémoire totales pour la file d'attente de ressources. |
|
resourceQueueUsedCpuMemory |
Ce champ est obsolète. Utilisez les champs correspondants |
|
resourceQueueUsedCpu |
Ressources CPU utilisées par la file d'attente de ressources, mesurées en CU. |
|
resourceQueueUsedMemory |
Ressources mémoire utilisées par la file d'attente de ressources. |
|
workspace |
ID de l'espace de travail. |
|
namespace |
Nom du namespace. |
|
messageId |
ID unique du message. |
|
timestamp |
Horodatage de génération du message. |
Événements d'exécution (JOB_EVENT)
|
Paramètre |
Description |
|
messageType |
Type de message. Fixé à JOB_EVENT (événement d'exécution). |
|
deploymentId |
ID du déploiement du job. |
|
deploymentName |
Nom du déploiement du job. |
|
jobId |
ID de l'instance de job. |
|
tag |
Tag du job. Ce champ est vide si aucun tag n'est configuré. |
|
eventId |
ID de l'événement. |
|
eventName |
Nom de l'événement. |
|
content |
Détails de l'événement. |
|
workspace |
ID de l'espace de travail. |
|
namespace |
Nom du namespace. |
|
messageId |
ID unique du message. |
|
timestamp |
Horodatage de génération du message. |
Utilisation des ressources du job (JOB_RESOURCE_USAGE)
|
Paramètre |
Description |
|
messageType |
Type de message. Fixé à JOB_RESOURCE_USAGE (utilisation des ressources du job). |
|
deploymentId |
ID du déploiement du job. |
|
deploymentName |
Nom du déploiement du job. |
|
jobId |
ID de l'instance de job. |
|
tag |
Tag du job. Ce champ est vide si aucun tag n'est configuré. |
|
jobUsedCpu |
Nombre de CU utilisés par le job. |
|
jobUsedMemory |
Quantité de mémoire utilisée par le job. |
|
workspace |
ID de l'espace de travail. |
|
namespace |
Nom du namespace. |
|
messageId |
ID unique du message. |
|
timestamp |
Horodatage de génération du message. |
Changements d'état du job (JOB_STATUS_CHANGED)
|
Paramètre |
Description |
|
messageType |
Type de message. Fixé à JOB_STATUS_CHANGED (changement d'état du job). |
|
messageId |
ID unique du message. |
|
timestamp |
Horodatage de génération du message, en millisecondes. |
|
workspace |
ID de l'espace de travail. |
|
namespace |
Nom du namespace. |
|
deploymentId |
ID du déploiement du job. |
|
deploymentName |
Nom du déploiement du job. |
|
jobId |
ID de l'instance de job. |
|
previousStatus |
État du job avant le changement. |
|
currentStatus |
État du job après le changement. |
|
tag |
Tag du job. Ce champ est vide si aucun tag n'est configuré. |
|
additionalInfo |
Informations supplémentaires. |
Références
Pour configurer la journalisation d'un seul job, consultez Configurer la sortie des journaux de job.
Pour consulter les journaux dans la console de développement Realtime Compute for Apache Flink, consultez Consulter les journaux de démarrage et d'exécution, Consulter les événements d'exécution, Consulter les journaux d'exceptions d'exécution et Consulter les journaux historiques des instances de job.