Kafka是分布式消息系统,由于其高吞吐和水平扩展,被广泛使用于消息的发布和订阅。以开源软件的方式提供,各用户可以根据需要搭建Kafka集群。
日志服务是基于飞天Pangu构建的针对日志平台化服务。服务提供各种类型日志的实时采集,存储,分发及实时查询能力。通过标准话的Restful API对外提供服务。
Log Service Loghub提供公共的日志采集、分发通道,用户如果不想自己搭建、运维kafka集群,可以使用Log Service LogHub功能。
概念 | Kafka | Loghub |
---|---|---|
存储对象 | topic | logstore |
水平分区 | partition | shard |
数据消费位置 | offset | cursor |
Loghub & Kafka 功能比较
功能 | Kafka | LogHub |
---|---|---|
使用依赖 | 自建或共享Kafka集群 | Log Service服务 |
通信协议 | TCP 打通网络 | Http (restful API),80端口 |
访问控制 | 无 | 基于云账号的签名认证+访问控制 |
动态扩容 | 暂无 | 支持动态shard个数弹性伸缩(Merge/Split),对用户无影响 |
多租户Qos | 暂无 | 基于shard的标准化流控 |
数据拷贝数 | 用户自定义 | 暂不开放,默认3份拷贝 |
failover/replication | 调用工具完成 | 自动,用户无感知 |
扩容/升级 | 调用工具完成,影响服务 | 用户无感知 |
写入模式 | round robin/key hash | 暂只支持round robin/key hash |
当前消费位置 | 保存在kafka集群的zookeeper | 服务端维护、无需关心 |
保存时间 | 配置确定 | 根据需求动态调整 |