Flink Python Streaming节点使用 -

Flink Python Streaming节点支持通过提交Python文件的方式运行Flink实时任务。您可以在DataWorks中选择已上传的Flink Python资源或Flink File作为Python文件地址，配置入口模块和运行参数后，完成基于Python的实时数据处理任务的开发与发布。本文介绍如何在DataWorks中开发和配置Flink Python Streaming节点。

前提条件

已在管理中心绑定实时计算Flink版计算资源，详情请参见绑定全托管Flink计算资源。
已上传Flink Python资源，详情请参见Flink资源与函数。
已创建Flink Python Streaming节点，详情请参见创建调度工作流的节点。

已为DataWorks调用实时计算Flink版OpenAPI使用的RAM用户或RAM角色新增授权以下OpenAPI权限。该授权用于将节点任务提交并部署到Flink集群。

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}

使用限制

该节点不支持在工作流中使用，仅支持作为独立节点进行开发和运行。
仅支持使用Serverless资源组，不支持旧版独享调度资源组。

步骤一：配置Flink Python Streaming节点

在Flink Python Streaming节点编辑页面，配置以下参数信息。

配置主界面参数

在节点编辑页面左侧区域，配置以下参数。

参数	描述
Python 文件地址	必填。下拉选择已在资源管理中上传的Flink Python资源或Flink File。Flink Python资源仅支持`.py`文件；如需使用`.zip`文件作为主作业入口，请以Flink File形式上传。当Entry Module参数为空时，该参数必须以`.py`结尾。
Entry Module	程序的入口模块，例如`example.word_count`。当Python 文件地址指向`.zip`文件时，该参数必填。
Entry Point Main Arguments	作业参数。
Python Libraries	下拉选择已上传的Flink File作为第三方Python包。第三方Python包会被添加到Python worker进程的PYTHONPATH中，从而在Python自定义函数中可以直接访问。
Python Archives	下拉选择已上传的Flink File作为存档文件。目前支持ZIP格式的文件，例如`.zip`、`.jar`、`.whl`和`.egg`等。
附加依赖文件	下拉选择已上传的Flink File作为附加依赖文件。

配置Flink资源

Flink资源配置（包括Flink集群、引擎版本、资源组、资源模式及Job Manager/Task Manager参数）与Flink JAR Streaming节点一致，请参见该文档中的配置说明。

（可选）配置脚本参数

您可在右侧导航栏的实时配置框的脚本参数中单击添加参数，并编辑相应的参数名和参数值信息。

（可选）配置Flink运行参数

Flink运行参数配置（包括系统检查点间隔、两次系统检查点之间的最短时间间隔、State数据过期时间、其他配置）与Flink JAR Streaming节点一致，请参见该文档中的配置说明。

完成任务配置后，单击保存节点任务。

步骤二：启动Flink Python Streaming节点

发布Flink Python Streaming节点。
任务需要发布至运维中心后才可执行，请参考界面引导对需要运行的Flink Python Streaming节点执行发布操作，详情请参见节点/工作流发布。
启动Flink Python Streaming节点。
任务发布后，您可以单击发布到生产环境下方的去运维，在运维中心的任务运维 > 实时任务运维 > 实时计算任务中找到需要启动的任务，单击任务操作列的启动按钮，启动并查看实时计算任务的运行情况。