Flink Python Streaming node usage - DataWorks - Centre de documentation Alibaba Cloud

Le nœud Flink Python Streaming permet d'exécuter des tâches en temps réel Flink en soumettant des fichiers Python. Dans DataWorks, sélectionnez une ressource Flink Python téléchargée ou un fichier Flink comme chemin d'accès au fichier Python. Après avoir configuré le module d'entrée et les paramètres d'exécution, développez et déployez des tâches de traitement de données en temps réel basées sur Python. Cette rubrique décrit comment développer et configurer un nœud Flink Python Streaming dans DataWorks.

Prérequis

Associez une ressource de calcul Realtime Compute for Apache Flink dans l'administration. Pour plus d'informations, consultez la rubrique Associer une ressource de calcul Flink entièrement gérée.
Téléchargez une ressource Flink Python. Pour plus d'informations, consultez la rubrique Ressources et fonctions Flink.
Créez un nœud Flink Python Streaming. Pour plus d'informations, consultez la rubrique Créer un nœud pour un flux de travail de planification.
Accordez les permissions OpenAPI suivantes accordées à l'utilisateur RAM ou au rôle RAM utilisé par DataWorks pour appeler l'OpenAPI de Realtime Compute for Apache Flink. Cette autorisation permet de soumettre et de déployer des tâches de nœud sur un cluster Flink.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

Limites

Ce nœud ne peut pas être utilisé dans un flux de travail. Développez-le et exécutez-le uniquement en tant que nœud indépendant.
Seuls les groupes de ressources serverless sont pris en charge. Les anciens groupes de ressources exclusifs pour la planification ne sont pas pris en charge.

Étape 1 : Configurer le nœud Flink Python Streaming

Sur la page de l'éditeur du nœud Flink Python Streaming, configurez les paramètres suivants.

Configurer les paramètres principaux

Dans le volet gauche de la page de l'éditeur de nœuds, configurez les paramètres suivants.

Paramètre	Description
Adresse du fichier Python	Obligatoire. Dans la liste déroulante, sélectionnez une ressource Flink Python téléchargée ou un fichier Flink. Les ressources Flink Python prennent uniquement en charge les fichiers `.py`. Si vous souhaitez utiliser un fichier `.zip` comme point d'entrée principal de la tâche, téléchargez-le en tant que fichier Flink. Ce paramètre doit se terminer par `.py` si le paramètre Module d'entrée est vide.
Module d'entrée	Module d'entrée du programme, par exemple `example.word_count`. Ce paramètre est requis lorsque l'Adresse du fichier Python pointe vers un fichier `.zip`.
Arguments principaux du point d'entrée	Paramètres de la tâche.
Bibliothèques Python	Dans la liste déroulante, sélectionnez un fichier Flink téléchargé en tant que package Python tiers. Les packages Python tiers sont ajoutés au PYTHONPATH du processus de travail Python, ce qui permet d'y accéder directement dans les fonctions définies par l'utilisateur Python.
Archives Python	Dans la liste déroulante, sélectionnez un fichier Flink téléchargé en tant que fichier d'archive. Actuellement, les fichiers au format ZIP sont pris en charge, tels que `.zip`, `.jar`, `.whl` et `.egg`.
Fichiers de dépendance supplémentaires	Dans la liste déroulante, sélectionnez un fichier Flink téléchargé en tant que fichier de dépendance supplémentaire.

Configurer les ressources Flink

La configuration des ressources Flink (incluant le cluster Flink, la version du moteur, le groupe de ressources, le mode de ressource et les paramètres Job Manager/Task Manager) est identique à celle du nœud Flink JAR Streaming. Pour plus d'informations, consultez les instructions de configuration dans cette rubrique.

(Facultatif) Configurer les paramètres de script

Dans le volet de navigation de droite, sous la section Real-Time configuration, cliquez sur Add parameters dans la zone Script Parameters, puis modifiez les noms et les valeurs des paramètres.

(Facultatif) Configurer les paramètres d'exécution Flink

La configuration des paramètres d'exécution Flink (incluant l'intervalle de checkpoint système, la pause minimale entre les checkpoints, le délai d'expiration des données d'état et autres configurations) est identique à celle du nœud Flink JAR Streaming. Pour plus d'informations, consultez les instructions de configuration dans cette rubrique.

Une fois la configuration de la tâche terminée, cliquez sur Save pour enregistrer la tâche de nœud.

Étape 2 : Démarrer le nœud Flink Python Streaming

Déployez le nœud Flink Python Streaming.

Les tâches doivent être déployées dans Operation Center avant de pouvoir être exécutées. Suivez les instructions à l'écran pour déployer le nœud Flink Python Streaming. Pour plus d'informations, consultez la rubrique Déployer un nœud.
Démarrez le nœud Flink Python Streaming.

Après le déploiement de la tâche, cliquez sur Go to operation and maintenance sous Deploy to production environment. Dans Operation Center, accédez à Node O&M > Real-time Task O&M > Real-time computing tasks, recherchez la tâche que vous souhaitez démarrer et cliquez sur Start dans la colonne Operation pour démarrer la tâche en temps réel et afficher son état d'exécution.