Lindorm Flink JAR Streaming节点 -

DataWorks的Lindorm Flink JAR Streaming节点支持基于Lindorm流引擎进行流式任务的开发、调试和周期性调度。本文为您介绍使用Lindorm Flink JAR Streaming节点进行任务开发的主要流程。

节点介绍

Lindorm流引擎提供低延迟、高吞吐的流式计算能力，兼容Flink接口，支持以JAR包形式提交Flink Streaming作业，适用于实时数据处理、实时入库、实时分析等场景。通过DataWorks的Lindorm Flink JAR Streaming节点，您可以引用Flink作业JAR包并配置提交命令，实现流式作业的开发、调试和周期性调度，并在运维中心统一管理流式任务的运行状态。

使用限制

资源组限制：Lindorm Flink JAR Streaming节点仅支持通过Serverless资源组运行。
引擎限制：Lindorm Flink JAR Streaming节点依赖Lindorm流引擎，您需要先在Lindorm控制台为实例开通流引擎并创建流引擎资源组。
作业类型限制：Lindorm Flink JAR Streaming节点当前仅支持以JAR包形式提交的Flink Streaming作业。

准备工作

已创建Lindorm实例并绑定至DataWorks工作空间，详情请参见绑定Lindorm计算资源。
已在Lindorm控制台开通流引擎并创建流引擎资源组。
（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有开发或空间管理员（权限较大，谨慎添加）角色权限，添加成员的操作详情请参见为工作空间添加空间成员。
说明
如果您使用的是主账号，则忽略该添加操作。

新建Lindorm Flink JAR Streaming节点

新建入口参考：创建节点。

开发Lindorm Flink JAR Streaming节点

Lindorm Flink JAR Streaming节点的开发包含两部分：将Flink作业JAR包上传为DataWorks资源文件，并在节点中配置流引擎作业的提交命令。下面以一个数据生成（DataGenerator）流式作业为例，为您介绍如何配置和使用Lindorm Flink JAR Streaming节点。

步骤一：上传Flink作业JAR包资源

在DataWorks中创建JAR包类型的资源文件，并上传您已编译好的Flink作业JAR包（例如datagen.jar），以供后续在节点中引用。创建和上传资源文件的操作详情请参见创建并使用资源。

步骤二：配置流引擎提交命令

在Lindorm Flink JAR Streaming节点的代码编辑区中，通过##@resource_reference语法引用已上传的JAR包资源，并使用lstream-cli run命令配置流引擎作业的提交命令。

##@resource_reference{"datagen.jar"}
lstream-cli run \
--class com.alibaba.lindorm.stream.demo.DataGenerator \
--parallelism 1 \
--detached \
datagen.jar

您可参照以下参数配置信息，配置Lindorm Flink JAR Streaming节点内容。

参数名称	参数描述
`--class`	Flink作业的主类（Main Class）全限定名。示例中主类为`com.alibaba.lindorm.stream.demo.DataGenerator`，请替换为您实际作业的主类名称。
`--parallelism`	作业的并行度。请根据数据规模和流引擎资源组的资源量合理设置。
`--detached`	以分离模式提交作业。流式作业为长驻运行任务，建议以分离模式提交，作业提交后即在流引擎后台持续运行。
JAR包文件名	提交命令末尾指定待运行的JAR包文件名，需与通过`##@resource_reference`引用的资源文件名保持一致。

调试Lindorm Flink JAR Streaming节点

配置调试属性。

您可在节点右侧运行配置中配置计算资源、Lindorm资源组及资源组信息，具体参数信息如下。

参数名称	描述
计算资源	选择您所绑定的Lindorm计算资源。
Lindorm资源组	选择您在Lindorm控制台创建的流引擎资源组。
资源组	选择已通过网络连通性测试的Serverless资源组。Lindorm Flink JAR Streaming节点仅支持Serverless资源组。
运行时长	流式作业为长驻运行任务，您可配置调试运行的最大时长。到达设定时长后，调试运行将自动停止，避免调试作业长时间占用资源。

调试运行节点。
执行节点任务，您需单击保存并运行节点任务。运行后，您可在运行日志中查看作业的提交与运行信息。运行日志中会输出该作业在Lindorm流引擎中的链接URL（例如https://ld-xxx-proxy-web-pub.lindorm.aliyuncs.com/streampark/#/flink/app?appBaseInfoId=xxx），单击该链接可跳转至Lindorm控制台的作业管理页面，实时观察作业的运行状态。

发布Lindorm Flink JAR Streaming节点

调试通过后，您需要在节点右侧的实时配置面板中配置任务的运行资源与运行属性，再将节点发布至生产环境。发布成功后，任务将按所选启动方式在生产环境运行，您可在运维中心统一管理。

配置实时配置。

在节点右侧的实时配置面板中配置以下信息。

配置项	说明
计算资源	在计算资源页签中，选择您所绑定的Lindorm计算资源。
Lindorm资源组	在计算资源页签中，选择对应的Lindorm流引擎资源组。
资源组	在资源组页签中，选择已通过网络连通性测试的Serverless资源组。
脚本参数	在脚本参数页签中，根据作业运行需要添加运行参数。
启动方式	在时间属性页签中，选择任务发布后的启动方式：发布后立即启动或发布后不启动。
失败自动重跑	在时间属性页签中，开启后任务运行失败时将自动重跑。您可进一步设置重跑次数（自动重跑的最大次数）和重跑间隔（两次重跑之间的间隔时长，单位为分钟）。

发布节点。
完成实时配置后，单击工具栏中的发布，依次完成发布包构建、生产检查器、发布到生产环境。发布流程的详细说明请参见节点发布。发布成功后，任务即按所选启动方式在生产环境运行。

运维中心管理流式任务

将Lindorm Flink JAR Streaming节点发布至生产环境后，您可以在运维中心统一管理流式任务：

在运维中心查看流式任务的运行状态，对任务执行停止、启动等运维操作，并可通过日志链接跳转至Lindorm控制台的作业管理页面。
DataWorks运维中心与Lindorm控制台的作业状态保持双向同步。当您在Lindorm控制台取消或启动作业时，DataWorks运维中心会同步展示作业的最新状态（如已停止、运行中）；反之亦然。