Flink全托管支持在作业探查界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业探查界面、OSS或SLS上查看历史作业实例日志。

背景信息

如果出现以下情况,则您需要查看历史作业实例的日志:
  • 您需要查看、搜索和分析历史作业实例的运行日志(系统默认保留最近5 MB大小的运行日志)。
  • Flink UI无法打开,需要查看Job Manager日志定位问题。
本文为您介绍查看历史作业实例日志的三种途径:

前提条件

  • 在作业探查界面查看历史作业实例日志,需要您在作业开发页面的高级配置中已打开日志归档功能。默认已开启日志归档功能。日志归档
  • 在OSS或者SLS上查看历史实例的日志,需要您在Flink全托管上已配置了历史作业实例的日志输出到OSS或者SLS,详情请参见配置历史作业实例日志输出

使用限制

  • 在VVR 3.x版本,仅VVR 3.0.7及以上版本支持查看历史作业实例的TM日志。
  • 在VVR 4.x版本,仅VVR 4.0.11及以上版本支持查看历史作业实例的TM日志。

注意事项

  • 如果Task Manager和Job Manager任意一个启动,日志都会写到SLS或OSS。但Task Manager和Job Manager都没有正常启动时,日志不会被写到SLS或OSS。
  • 如果因为Job Manager和Task Manager都没有正常启动,导致您在OSS上没有找到对应的日志文件,请提交工单
  • 日志配置中默认会保留2个文件,每个文件大小为5 MB,不建议您修改该值。如果该日志保存大小不满足您的需求,则请将日志输出至OSS中。日志模板
    说明 图片上的文件个数不包括正在写的文件,即如果这里配置为1,则最多会保存2个文件,一个保存在内存中,一个保存在您的本地磁盘中。

在作业探查界面查看

  1. 登录实时计算控制台
  2. Flink全托管页签,单击目标工作空间操作列下的控制台
  3. 在左侧导航栏上,选择应用 > 作业运维
  4. 单击目标作业名称。
  5. 单击作业探查
  6. 在左侧运行日志页签,选择正在运行的作业实例。
    左侧灰色小点表示此实例为历史作业实例。历史作业实例
  7. 查看Job Manager和Task Managers日志。
    Job ManagerTask Managers页签,分别单击对应的日志名称,进行查看。日志示例

在OSS上查看

  1. 登录OSS管理控制台
  2. 在左侧导航栏,单击Bucket列表
  3. 单击您开通Flink全托管服务时,配置的Bucket名称。
  4. 单击文件管理
  5. 在对应目录,查看日志信息。日志目录
    文件夹 说明
    artifacts 上传的JAR包会被存储到该目录。
    flink-jobs Flink作业的Checkpoint会被存储到该目录。
    flink-savepoints Flink全托管开发控制台上,单击Savepoint,会触发Savepoint操作,最终的Savepoint文件会被存储到该目录。
    logs 如果您作业的日志模板选择了OSS,则您的作业的日志会被存储到该目录。
    说明 logs目录下作业存储路径为:logs/${工作空间ID}/${作业ID}/${实例ID}。您可以通过该目录结构找到相应作业的JM(Job Manager)和TM(Task Manager)日志。

在SLS上查看

  1. 登录日志服务控制台
  2. 全部的Project区域,单击目标Project。
  3. 日志库页签,单击目标Logstore。
  4. 输入查询分析语句,选择时间范围,单击查询/分析
    详情请参见查询和分析日志