FAQ sur le dimensionnement des ressources et l'utilisation des fonctionnalités - Realtime Compute for Apache Flink

Gestion des espaces de travail et des namespace
Gestion des déploiements

Puis-je modifier le nom d'un espace de travail ?

Dans la console Realtime Compute for Apache Flink, repérez l'espace de travail cible et cliquez sur Details dans la colonne Actions.
Cliquez sur le nom de l'espace de travail pour le modifier.

Puis-je modifier le VPC et le vSwitch ?

Vous ne pouvez pas modifier le Virtual Private Cloud (VPC), mais vous pouvez modifier le vSwitch.

Consulter les informations de l'espace de travail

Dans la console Realtime Compute for Apache Flink, repérez l'espace de travail cible et cliquez sur Details dans la colonne Actions pour afficher des informations telles que l'ID de l'espace de travail.

Le panneau Workspace Details contient également des informations telles que Workspace name, OSS bucket, VPC name and ID, Processor architecture, Resource group et vSwitch.

Échec de l'allocation des ressources lors de la réduction d'échelle du namespace

Description du problème

L'allocation des ressources échoue lorsque vous réduisez l'échelle d'un namespace.

Le message d'erreur indique : « Namespace resource allocation failed, please go to the console page to adjust the queue resources and retry. »
Cause

Toutes les ressources disponibles sont déjà allouées ou en cours d'utilisation.
Solution

Réduisez d'abord les ressources allouées à la file d'attente de ressources, puis réduisez l'échelle du namespace. Pour plus d'informations, consultez la section Modifier les quotas de ressources.

Sur la page Namespace Resources, repérez la file d'attente de ressources cible dans la liste des files d'attente et cliquez sur Edit a queue dans la colonne Actions pour réduire les CU qui lui sont alloués.

Les modifications de ressources ne sont pas prises en compte après l'augmentation d'échelle

Abonnement

Le dimensionnement des ressources pour Realtime Compute for Apache Flink suit une approche descendante. Vous allouez les ressources depuis un espace de travail vers ses namespace, puis depuis les namespace vers leurs files d'attente de ressources. Pour plus d'informations, consultez la section Dimensionner les ressources.
Paiement à l'utilisation

Avec la méthode de facturation au paiement à l'utilisation, vous êtes facturé en fonction de votre consommation réelle de ressources. Le dimensionnement des ressources ne s'applique pas. Repérez l'espace de travail cible et choisissez More > Quota Ceiling dans la colonne Actions. Configurez ensuite une file d'attente de ressources au sein du namespace pour répondre aux besoins d'isolation et de gestion des ressources des scénarios de traitement par lots. Pour plus d'informations, consultez la section Gérer les files d'attente de ressources.

Consulter l'AccessKey ID et l'AccessKey Secret

AccessKey ID
- Pour un compte racine : Connectez-vous à la console Alibaba Cloud. Pointez sur votre photo de profil dans le coin supérieur droit et cliquez sur AccessKey Management pour afficher l'ID.
- Pour un utilisateur RAM : Consultez la section Afficher les informations AccessKey d'un utilisateur RAM.
AccessKey Secret

Pour réduire les risques de fuite, l'AccessKey Secret des comptes racines et des utilisateurs RAM n'est affiché qu'au moment de sa création et ne peut pas être récupéré ultérieurement. Vous devez stocker votre AccessKey Secret en toute sécurité lors de sa création.

Si vous ne disposez pas d'une paire AccessKey ou si vous avez perdu l'AccessKey Secret, consultez la section Créer une paire AccessKey.

Télécharger des fichiers vers OSS pour les déploiements Flink

Lors de l'activation d'un espace de travail Flink, vous pouvez spécifier un compartiment Object Storage Service (OSS) pour le stockage. Cela vous permet de télécharger des fichiers dans le compartiment pour les utiliser dans les déploiements Flink. Vous pouvez également télécharger des fichiers directement sur la page Artifacts dans la console de développement de Realtime Compute for Apache Flink. Pour plus d'informations, consultez la section Artifacts.

Dans la console de gestion Real-time Compute, cliquez sur More > Workspace Details dans la colonne Actions de l'espace de travail cible pour afficher les informations du compartiment OSS associé.
Téléchargez le fichier de ressource vers le compartiment OSS cible.
- Connectez-vous à la console OSS et téléchargez le fichier de ressource dans le répertoire /artifacts/namespaces du compartiment cible.
- Téléchargez le fichier de ressource en appelant l'opération API PutObject. Pour plus d'informations, consultez la section PutObject.
Dans le volet de navigation gauche de la console de développement Realtime Compute, cliquez sur Artifacts pour afficher les fichiers de ressources téléchargés depuis la console OSS.

Cette page répertorie les fichiers téléchargés avec des colonnes pour Name, Creation time et Actions (Download, Delete). Un bouton Upload resource est disponible en haut de la page.

L'espace de travail Flink n'apparaît pas dans la console

Vérifiez les causes possibles suivantes. Si le problème persiste, vous pouvez soumettre un ticket pour obtenir de l'aide.

Assurez-vous que l'initialisation de l'espace de travail Flink est terminée. Ce processus prend généralement entre 5 et 10 minutes.
Vérifiez que vous avez sélectionné la bonne région en haut de la page de la console. Les espaces de travail ne sont affichés que dans la région où ils ont été créés.
Si vous êtes connecté en tant qu'utilisateur RAM, assurez-vous que l'utilisateur dispose des autorisations nécessaires pour la console Realtime Compute for Apache Flink. Pour plus d'informations sur la configuration des autorisations, consultez la section Autorisations.

Erreur : Nombre insuffisant d'adresses IP

Détails de l'erreur

Has not enough ip address:abnormal event detected from kubernetes (type:[Warning], reason:[CniError_CodeUnKnownErr], message:[CniAllocateError: allocateIP failed: ipamCreate failed: failed to create ENI: all vSwitches ([*****]) cannot be used: CreateNetworkInterface: RequestId: 67959AE5-EA20-5CB4-8560-5BD6752472FD, ErrorCode: InvalidVSwitchId.IpNotEnough, Message: The specified VSwitch "*****" has not enough IpAddress., elapsedTime: 245.03232ms])

Cause

Le vSwitch ne dispose plus d'adresses IP disponibles.
Solution

Basculez vers un vSwitch disposant d'un nombre suffisant d'adresses IP disponibles. Pour plus d'informations, consultez la section Modifier un vSwitch.

Erreur : Échec de la réponse HTTP

Détails de l'erreur

Le téléchargement du fichier échoue avec le message d'erreur suivant.


Unknown Error: Http failure response for https://xxx.oss-ap-southeast-1.aliyuncs.com: 0 Unknown Error

Cause

Le domaine de la console du site international Alibaba Cloud a changé. Si vous utilisez le nouveau domaine alibabacloud.com pour télécharger des fichiers sans avoir préalablement configuré une règle de partage de ressources cross-origin (CORS) dans Object Storage Service (OSS), la requête échouera en raison des restrictions cross-origin.
Solution

Dans la console OSS, configurez une règle CORS pour le compartiment OSS lié à votre espace de travail Flink. Pour des instructions spécifiques, consultez la section Artifacts.

Consulter la version Flink d'un déploiement

Vous pouvez vérifier la version de l'une des deux manières suivantes :

Sur la page ETL ou Data ingestion, cliquez sur Configurations à droite. La version est indiquée dans le champ Engine Version.
Sur la page O&M > Deployments, cliquez sur le nom du déploiement cible. Dans l'onglet Configuration, affichez les informations de version dans la section Basic.

Le champ Engine Version indique la version Flink, par exemple vvr-8.0.9-flink-1.17.

Modifier la version du moteur pour un déploiement

Pour les déploiements SQL ou YAML

Sur la page ETL ou Data ingestion, cliquez sur Configurations à droite et sélectionnez la version cible dans la liste déroulante Engine Version. Si le déploiement est déjà en cours d'exécution, vous devez le redéployer et le démarrer pour que la modification de version prenne effet.
Pour les déploiements JAR ou Python

Sur la page Deployments, cliquez sur le nom du déploiement cible. Dans l'onglet Configuration, cliquez sur Edit dans le coin supérieur droit de la section Basic. Sélectionnez la version cible dans la liste déroulante Engine Version, cliquez sur Save, puis cliquez sur Start.

Configurer des paramètres d'exécution personnalisés

Connectez-vous à la console Realtime Compute for Apache Flink.
Repérez l'espace de travail cible et cliquez sur Console dans la colonne Actions.
Sur la page Deployments, cliquez sur le nom du déploiement cible.
Dans l'onglet Configuration, cliquez sur Edit dans le coin supérieur droit de la section Parameters.
Dans le champ Other configuration, saisissez les configurations des paramètres.

Assurez-vous qu'il y a un espace après les deux-points (:) dans chaque paire clé-valeur. Voici un exemple de code.
```
task.cancellation.timeout: 180s
```
Cliquez sur Save.

Rendre persistantes les configurations Flink courantes

Realtime Compute for Apache Flink propose une fonctionnalité de deployment template permettant d'enregistrer les paramètres fréquemment utilisés comme valeurs par défaut. Cela évite de devoir configurer manuellement chaque nouveau déploiement.

Dans le volet de navigation gauche, cliquez sur Configuration Management et sélectionnez l'onglet Default deployment configuration. Dans le sous-onglet Streaming deployment ou Batch deployment, vous pouvez définir des paramètres d'exécution tels que Checkpoint interval, Min pause between checkpoints, Checkpoint timeout, State TTL et Flink restart strategy (par exemple, Fixed Delay). Une fois la configuration terminée, cliquez sur Save changes.

Éviter les fuites d'informations sensibles

Utilisez des variables pour éviter les risques de sécurité liés à l'exposition d'informations sensibles telles que les paires AccessKey et les mots de passe en texte clair. La réutilisation des variables vous empêche également de saisir à plusieurs reprises le même code ou les mêmes valeurs, ce qui simplifie la gestion de la configuration. Vous pouvez utiliser des variables dans divers scénarios, notamment les déploiements SQL, les déploiements JAR ou Python, les configurations de journalisation et les paramètres de l'interface utilisateur. Pour plus d'informations, consultez la section Gérer les variables.

Optimiser l'utilisation des ressources pour les déploiements Flink

Vous pouvez ajuster les ressources de la manière suivante :

Ajustement manuel : Dans l'onglet Diagnosis, cliquez sur Diagnose pour afficher les conclusions de l'analyse des ressources et ajuster manuellement les ressources en fonction des suggestions.

Une fois le diagnostic terminé, la page affiche les résultats (par exemple, All 5 checks passed. No fixable issues found.). Vous pouvez développer la section Resource analysis pour afficher les conclusions détaillées.
Ajustement automatique : Activez la fonctionnalité de réglage automatique, qui inclut des modes de réglage intelligent et planifié, pour permettre au système Flink d'ajuster automatiquement les ressources. Pour plus d'informations sur les cas d'utilisation et la configuration, consultez la section Configurer le réglage automatique.

Syntaxe des expressions Cron

La gestion de l'état utilise la syntaxe d'expression Cron de style Unix, tandis que l'orchestration de workflow utilise la syntaxe de style Java. Assurez-vous d'utiliser l'expression Cron appropriée pour chaque scénario.

Syntaxe de style Unix

Une expression de style Unix comporte cinq champs : minute hour day-of-month month day-of-week.
Union de Day-of-Month et Day-of-Week : Si vous spécifiez des valeurs pour le troisième champ (day-of-month) et le cinquième champ (day-of-week), elles sont combinées avec un opérateur logique OU.

L'expression 0 12 1 * 5 signifie que la tâche s'exécute à 12 h 00 le premier jour de chaque mois OU tous les vendredis. Cela ne signifie pas que la tâche s'exécute uniquement lorsque le premier jour du mois est aussi un vendredi.
Point d'interrogation non pris en charge?: N'utilisez pas ? car le système signalera une erreur ou ne le reconnaîtra pas. Si vous souhaitez ignorer un champ, vous ne pouvez utiliser que *.

Syntaxe de style (Quartz) Java

Une expression de style Java utilise généralement six champs : second minute hour day-of-month month day-of-week.
Conflit entre Day-of-Month et Day-of-Week :
- Vous ne pouvez pas spécifier de valeurs simultanément pour les champs day-of-month et day-of-week (ni définir les deux sur *).
- Pour éviter les conflits logiques, tels que la spécification du premier jour du mois et du vendredi alors que le premier jour n'est pas un vendredi, l'un de ces deux champs doit être ?.
- Règle : Si vous spécifiez Day-of-month, Day-of-week doit être ?. Si vous spécifiez Day-of-week, Day-of-month doit être ?.
Valeurs différentes pour Day-of-Week : 1 représente dimanche, 2 représente lundi, etc. Nous recommandons d'utiliser les abréviations anglaises (SUN, MON, TUE) pour éviter toute confusion.