实时计算Flink版：操作指导

如何在OSS控制台上传JAR包？

1. 在Flink全托管控制台上查看当前集群的OSS Bucket。

   OSS Bucket信息如下图所示。

2. 登录OSS管理控制台，上传JAR包至目标Bucket的/artifacts/namespaces目录下。

3. 在Flink全托管控制台左侧导航栏，单击资源上传，查看通过OSS控制台上传的JAR包。

如何开启GC日志？

在作业运维页面，单击目标作业名称后，单击返回开发后，在页面右侧高级配置面板的更多Flink配置中，添加代码后保存生效，代码示例如下。

env.java.opts:>--XX:+PrintGCDetails-XX:+PrintGCDateStamps-Xloggc:/flink/log/gc.log-XX:+UseGCLogFileRotation-XX:NumberOfGCLogFiles=2-XX:GCLogFileSize=50M

如何查找引发告警的作业？

如何查看工作空间ID等信息？

如何查看当前作业的Flink版本？

如何关闭系统自动开通的Prometheus监控服务？

如果您不再需要对实时计算Flink版进行监控，您可以按照如下步骤卸载Prometheus监控服务：

1. 登录Prometheus控制台。

2. 在左侧导航栏单击监控列表，进入可观测监控Prometheus版的实例列表页面。

3. 单击实例类型为Prometheus for Flink Serverless的实例对应操作列的卸载。

4. 在弹出的对话框中，单击确认。

如何设置白名单？

Flink全托管集群如何访问公网？

• 背景说明

  Flink全托管集群默认不具备访问公网的能力，但阿里云提供的NAT网关可以实现VPC网络与公网网络互通，以满足部分Flink全托管集群用户通过UDX或Datastream代码访问公网的需求。

• 解决方案

  通过在VPC中创建NAT网关，并创建SNAT条目，将Flink全托管集群所在的交换机绑定至弹性公网IP（EIP），即可通过EIP访问公网。具体配置方法请参见：

  1. 创建NAT网关，详情请参见创建NAT网关。

  2. 创建SNAT条目，详情请参见创建SNAT条目。

  3. 将Flink全托管集群所在的交换机绑定至弹性公网IP（EIP），详情请参见绑定EIP。

如何访问跨VPC的其他服务？

如何解决Flink依赖冲突问题？

• 问题现象

  • 有明显报错，且引发错误的为Flink或Hadoop相关类。

    java.lang.AbstractMethodError
    java.lang.ClassNotFoundException
    java.lang.IllegalAccessError
    java.lang.IllegalAccessException
    java.lang.InstantiationError
    java.lang.InstantiationException
    java.lang.InvocationTargetException
    java.lang.NoClassDefFoundError
    java.lang.NoSuchFieldError
    java.lang.NoSuchFieldException
    java.lang.NoSuchMethodError
    java.lang.NoSuchMethodException

  • 无明显报错，但会引起一些不符合预期的现象，例如：

    • 日志不输出或log4j配置不生效。

      该类问题通常是由于依赖中携带了log4j相关配置导致的。需要排查作业JAR包中是否引入了log4j配置的依赖，可以通过在dependency中配置exclusions的方式去掉log4j配置。

      说明

      如果必须要使用不同版本的log4j，需要使用maven-shade-plugin将log4j相关的class relocation掉。

    • RPC调用异常。

      Flink的Akka RPC调用出现依赖冲突可能导致的异常，默认不会显示在日志中，需要开启Debug日志进行确认。

      例如，Debug日志中出现Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx}，但是JM日志在Registering TaskManager with ResourceID xxx后，没有下文，直到资源请求超时报错NoResourceAvailableException。此外TM持续报错Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx}。

      原因：开启Debug日志后，发现RPC调用报错InvocationTargetException，该报错导致TM Slot分配到一半失败出现状态不一致，RM持续尝试分配Slot失败无法恢复。

• 问题原因

  • 作业JAR包中包含了不必要的依赖（例如基本配置、Flink、Hadoop和log4j依赖），造成依赖冲突从而引发各种问题。

  • 作业需要的Connector对应的依赖未被打入JAR包中。

• 排查方法

  • 查看作业pom.xml文件，判断是否存在不必要的依赖。

  • 通过jar tf foo.jar命令查看作业JAR包内容，判断是否存在引发依赖冲突的内容。

  • 通过mvn dependency:tree命令查看作业的依赖关系，判断是否存在冲突的依赖。

• 解决方案

  • 基本配置建议将scope全部设置为provided，即不打入作业JAR包。

    • DataStream Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataStream Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

  • 添加作业需要的Connector对应的依赖，并将scope全部设置为compile（默认的scope是compile），即打入作业JAR包中，以Kafka Connector为例，代码如下。

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>

  • 其他Flink、Hadoop和log4j依赖不建议添加。但是：

    • 如果作业本身存在基本配置或Connector相关的直接依赖，建议将scope设置为provided，示例如下。

      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <scope>provided</scope>
      </dependency>

    • 如果作业存在基本配置或Connector相关的间接依赖，建议通过exclusion将依赖去掉，示例如下。

      <dependency>
          <groupId>foo</groupId>
            <artifactId>bar</artifactId>
            <exclusions>
              <exclusion>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-common</artifactId>
             </exclusion>
          </exclusions>
      </dependency>

如何解析Flink作业所依赖服务的域名？