Flink Python Batch node usage - DataWorks - Centre de documentation Alibaba Cloud

Le nœud Flink Python Batch exécute des jobs de traitement par lots Flink à partir d'un fichier Python soumis. Dans DataWorks, vous pouvez spécifier le chemin du fichier Python en sélectionnant une ressource Flink Python téléchargée ou un Flink File. Après avoir configuré le module d'entrée et les paramètres de planification, vous pouvez développer et déployer des jobs de traitement par lots à grande échelle basés sur Python. Cette rubrique décrit comment développer et configurer un nœud Flink Python Batch dans DataWorks.

Prérequis

Vous avez associé des ressources de calcul Realtime Compute for Apache Flink dans Administration. Pour plus d'informations, consultez la rubrique Lier des ressources de calcul Flink entièrement gérées.
Vous avez téléchargé une ressource Flink Python. Pour plus d'informations, consultez la rubrique Ressources et fonctions Flink.
Vous avez créé un nœud Flink Python Batch. Pour plus d'informations, consultez la rubrique Créer un nœud pour un workflow.
Vous avez accordé les permissions OpenAPI suivantes à l'utilisateur RAM ou au rôle RAM utilisé par DataWorks pour appeler les API Realtime Compute for Apache Flink. Pour plus d'informations, consultez la rubrique Ajouter des permissions. Cette autorisation permet à DataWorks de soumettre le job du nœud et de le déployer sur un cluster Flink.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

Limitation

Seuls les groupes de ressources serverless sont pris en charge. Les anciens groupes de ressources exclusifs pour la planification ne sont pas pris en charge.

Étape 1 : Configurer le nœud Flink Python Batch

Sur la page d'édition du nœud Flink Python Batch, configurez les paramètres suivants.

Paramètres de l'onglet Main

Dans le volet gauche de la page d'édition du nœud, configurez les paramètres suivants.

|
**Paramètre**
|
**Description**
| | --- | --- | |
**Python file path**
|
Obligatoire. Dans la liste déroulante, sélectionnez une ressource Flink Python ou un Flink File que vous avez téléchargé dans Resource Management. Les ressources Flink Python prennent uniquement en charge les fichiers `.py`. Pour utiliser un fichier `.zip` comme point d'entrée principal du job, téléchargez-le en tant que Flink File. Si le paramètre **Entry Module** est laissé vide, ce paramètre doit se terminer par `.py`.
| |
**Entry Module**
|
Module d'entrée du programme, par exemple `example.word_count`. Ce paramètre est requis lorsque le paramètre **Python file path** se termine par `.zip`.
| |
**Entry Point Main Arguments**
|
Paramètres du job.
| |
**Python Libraries**
|
Dans la liste déroulante, sélectionnez un Flink File téléchargé en tant que package Python tiers. Les packages Python tiers sont ajoutés au PYTHONPATH du processus worker Python afin qu'ils puissent être directement accessibles dans les fonctions définies par l'utilisateur Python.
| |
**Python Archives**
|
Dans la liste déroulante, sélectionnez un Flink File téléchargé en tant que fichier d'archive. Les fichiers d'archive au format ZIP sont pris en charge, tels que `.zip`, `.jar`, `.whl` et `.egg`.
| |
**Additional Dependencies**
|
Dans la liste déroulante, sélectionnez un Flink File téléchargé en tant que fichier de dépendance supplémentaire.
|

Configurer la planification

Pour les paramètres de planification, y compris les informations sur les ressources Flink, les paramètres de planification, les paramètres d'exécution Flink, les politiques de planification, l'horaire de planification et les dépendances de planification, consultez les instructions de configuration correspondantes dans la rubrique Configurer les paramètres de planification.

Une fois la configuration de la tâche terminée, cliquez sur Save pour enregistrer le nœud.

Étape 2 : Exécuter le nœud Flink Python Batch

La tâche doit être déployée dans Operation Center avant de pouvoir s'exécuter. Suivez les instructions à l'écran pour déployer le nœud Flink Python Batch. Pour plus d'informations, consultez la rubrique Déployer un nœud. Après le déploiement, vous pouvez consulter l'état d'exécution des instances planifiées dans Operation Center.