协同消费

概念

点位服务

点位服务是提供将消费的点位保存在服务端的功能，点位由sequence和timestamp组成，sequence是递增的对应唯一记录的序列，timestamp是记录写入datahub的单位为ms的时间戳。

为Topic创建订阅，并在完成消费一部分数据后，将点位提交至服务端。下次启动任务时，可以从服务端获取上次提交的点位，从指定点位的下一条记录开始消费。将点位保存在服务端才能够实现shard重新分配后，能够从上次提交的点位之后消费，是协同消费功能的前提。

在Consumer中不需要手动处理点位，在config中设置点位提交的间隔，在读取记录时，认为之前的记录已经完成处理，若距离上次提交点位已经超过提交间隔，则尝试提交。在提交失败并且同时任务强制停止时，有一定可能造成点位提交不及时，重复消费一部分数据。

协同消费

协同消费是为了解决多个消费者同时消费一个topic时，自动分配shard的问题。能够简化消费的客户端处理，多个消费者可能是在不同机器上，通过自己协调分配shard是困难的。使用同一个Sub Id的Consummer在同一个Consumer Group中，同一个shard在一个Consumer Group中只会被分配给1个Consumer。

场景

现有3个消费者实例A，B，C，Topic共有10个shard

实例A启动，分配10个shard
实例B，C启动，shard分配为4，3，3
将1个shard进行split操作，在父节点消费完后，客户端主动释放，2个子节点加入后，shard分配为4，4，3
实例C停止后，shard分配为6，5

心跳

要实现协同消费的功能，需要通过心跳机制来通知让服务端消费者实例的状态，当前分配的shard和需要释放的shard，超过时间间隔没有收到心跳，则认为消费者实例已经停止。当消费者实例的状态发生改变，服务端会重新分配shard，新的分配计划也是通过心跳请求来返回，所以客户端感知shard变化是有时间间隔的。

版本

Maven依赖以及JDK:

maven pom

<dependency>
    <groupId>com.aliyun.datahub</groupId>
    <artifactId>aliyun-sdk-datahub</artifactId>
    <version>2.18.0-public</version>
</dependency>
<dependency>
      <groupId>com.aliyun.datahub</groupId>
      <artifactId>datahub-client-library</artifactId>
      <version>1.1.12-public</version>
</dependency>

jdk

jdk: >= 1.8

示例代码

请参考读写数据文档:读写数据