作业智能诊断 - 实时计算Flink版

Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。

背景信息

Flink Advisor作业智能诊断服务实时监控作业的健康状况并计算健康分数。从开发到运维全流程，它提供了作业看护和诊断能力。全量实时分析Flink作业全生命周期过程中产生的日志、事件、指标以及配置，并依据阿里云技术专家排查Flink作业高频问题的运维经验，提供作业开发态报错日志诊断、运行态健康分及异常态根因诊断。针对诊断结果给出相应的优化和建议，减少您的数据分析耗时和修复时间，保障作业运行的稳定性和健康度。可以实现的功能如下图所示。

使用限制

仅流作业支持作业智能诊断功能。批作业不支持作业智能诊断功能。

异常日志自动分析

开发态异常

进入作业开发页面。
1. 登录实时计算控制台。
2. 在Flink全托管页签，单击目标工作空间操作列下的控制台。
3. 在左侧导航栏上，单击SQL开发。
编写SQL后，单击深度检查。
在页面下方，查看问题、可能原因和参考方案。

运行态异常

进入作业运维页面。
1. 登录实时计算控制台。
2. 在Flink全托管页签，单击目标工作空间操作列下的控制台。
3. 在左侧导航栏上，单击目标作业名称。
单击作业探查。
在左侧切换运行日志、启动日志和异常信息后，查看运行态日志分析。
详情请参见查看启动和运行日志、查看运行异常日志和查看历史作业实例日志。

说明

如果异常日志无法直接帮您提供问题原因和优化建议时，您可以鼠标选中相关日志，单击在帮助文档中搜索，在帮助文档中查找相关信息。

对作业进行智能诊断

进入智能诊断页面。
1. 登录实时计算控制台。
2. 在Flink全托管页签，单击目标工作空间操作列下的控制台。
3. 在左侧导航栏上，单击作业运维。
4. 进入智能诊断页面。
  您通过以下任意一种方式进入：
  - 在作业列表页面，单击目标作业健康分按钮。
  - 单击目标作业名称后，单击智能诊断。
单击开始诊断。
Flink Advisor建立了丰富的面向Flink错误日志的日志知识库，具体的诊断类型、阶段、诊断项及处理方法详情请参见Flink Advisor诊断项。
查看诊断结果和优化建议。
对于系统提供的优化建议，您可以直接单击对应的立刻应用。

Flink Advisor诊断项

类型	阶段	诊断项	诊断内容
异常（影响作业当前运行）	启动	启动文件分析	如果作业需要的OSS中的JAR包不存在，则作业会无法启动。请您重新上传JAR包后再启动作业。
		资源分析	如果剩余可用资源不足，则作业无法启动。请您调小作业资源配置或对集群进行扩容解决。
			如果绑定CNI失败，则作业无法启动。请您检查对应vSwitch IP是否用完。
			如果弹性网卡ENI的IP用量超过网络上限，则作业无法启动。建议您扩容弹性网卡后重试。
		拓扑网络分析	如果TaskManager与JobManager的网络不通，则作业状态显示异常。
		拓扑网络分析	如果最近10分钟内存在弹性网卡挂载超时，则作业启动慢。建议您耐心等待。
		上下游网络分析	如果TCP端口探测正常，但Connector无法连通，作业无法启动。建议您检查上下游服务网络配置是否正确。
		上下游权限探测	如果上游数据源无法连通，则作业无法启动。建议您检查上游服务权限配置。
		上下游权限探测	如果下游数据源无法连通，则作业无法启动。建议您检查下游服务权限配置。
		启动速度分析	如果作业JAR包过大，则作业启动慢。建议您压缩JAR包后重新上传或耐心等待。
		JobGraph检查	由于产品老版本存在配置文件丢失的隐患，因此作业FailOver后可能会无法恢复。请手动重启（停止后再启动）作业解决。
		Session集群检查	由于产品老版本存在Session集群异常的隐患，因此作业状态可能会显示异常。
	运行	HA状态检查	如果作业未开启HA，则作业FailOver无法正常恢复。请重新上线作业并手动重启（停止后再启动）作业解决。
		Checkpoint检查	由于产品老版本存在CheckPoint功能异常的隐患，因此Checkpoint可能会失败。
		上下游权限探测	如果TCP端口探测正常，但Connector无法连通，作业无法启动。建议您检查上下游服务权限配置。
		作业运行状态检查	作业的TaskManager发生内存溢出，导致作业Failover，请检查作业配置，尝试调大TaskManager内存。
	停止	停止速度分析	由于产品老版本过低的隐患，因此停止作业会比较慢。如果出现作业停止比较慢的情况，请通过手动重启（停止后再启动）作业解决。
风险（不影响作业当前运行）	配置	JobGraph检查	虽然作业当前状态正常，但系统检测到产品老版本存在配置文件丢失的隐患，FailOver后无法恢复。请手动重启（停止后再启动）作业解决。
		HA状态检查	虽然作业当前状态正常，但系统检测到由于作业未开启HA，会导致FailOver后无法恢复，请重新上线作业并手动重启（停止后再启动）作业解决。
		版本检查	虽然作业当前状态正常，但检测使用的版本存在重大缺陷。
	运行	Checkpoint检查	作业当前状态虽正常，但检测到由于产品老版本存在Checkpoint异常的稳定性隐患。
		Checkpoint检查	作业当前状态虽正常，但检测到Checkpoint已长时间未做成功。
		停止速度分析	作业当前状态虽正常，但检测到由于产品老版本存在停止作业慢的隐患，请通过手动重启（停止后再启动）作业解决。
		作业运行环境分析	作业所在机器出现异常导致作业Failover，平台会自动修复，您无需手动处理。作业所在机器升级过程，可能存在分钟级的Failover，Failover成功后会自动恢复，您也可以在升级前手动重启（停止后再启动）作业，来提前规避。作业所在机器存在硬件故障，将在一段时间后自愈，届时您的作业将会发生一次Failover。您可以手动重启（停止后再启动）作业，来规避自愈产生的Failover。