实时数仓Hologres：概览

形态说明

• 阿里云实时计算Flink版不进行业务存储，所有的数据均来自于外部存储系统持有的数据。阿里云实时计算Flink版支持的数据存储类型如下：

  • 源表

  源表指输入至Flink的数据输入源。Flink的源表指定为Hologres时，使用的是批量导入而非流式导入，Hologres会将全表的数据统一扫描一次后再输出至下游，扫描完成后本次作业结束。

  • 维表

  维表一般适用于点查询场景（Lookup by Key)，因此在Hologres中，维表建议使用行存储，并且JOIN的字段必须是完整的主键字段。

  • 结果表

  结果表用于接收并存放经过Flink计算的结果数据，为下游数据继续消费提供各类读写接口。

• 阿里云实时计算Flink版还支持很多企业级高级能力，通过与Hologres深度集成，提供以下创新能力：

  • Hologres Binlog消费

  使用消息队列的模式消费Hologres表的Change Log。

  • Flink Catalog

  Flink支持导入Hologres元数据为Catalog，在Flink全托管控制台直接读取Hologres元数据，不用再手动注册Hologres表，可以提高开发效率且能保证表结构的正确性。

  • Schema Evolution

  Flink全托管支持Schema Evolution，在Flink读取JSON数据时，可以自动解析类型，自动创建对应表的列，支持数据模型的动态演化。

• Hologres支持的Flink产品形态及功能如下表所示。

  产品形态	数据存储类型			企业级高级能力			描述
  	源表	结果表	维表	Hologres Binlog消费	Flink Catalog	Schema Evolution
  Flink半托管	支持行存储及列存储，Binlog源表建议使用行存储或行列共存。	支持行存储及列存储	建议使用行存储或行列共存	支持	支持	支持	使用EMR Studio开发平台。
  Blink独享（已停售）	支持行存储及列存储，Binlog源表建议使用行存储或行列共存。	支持行存储及列存储	建议使用行存储或行列共存	Hologres V0.8版本只支持行存储，V0.9及以上版本支持行存储及列存储。建议使用行存储。	不支持	不支持	使用Bayes开发平台。 推荐使用阿里云Flink全托管。
  开源Flink1.10	不支持	支持行存储及列存储	不支持	不支持	不支持	不支持	-
  开源Flink1.11及以上版本	不支持	支持行存储及列存储	建议使用行存储	不支持	不支持	不支持	从开源Flink1.11版本开始，Hologres代码已开源。详细内容请参见GitHub。
  开源Flink1.13及以上版本	支持批量源表	支持行存储及列存储	建议使用行存储	不支持	不支持	不支持	从开源Flink1.11版本开始，Hologres代码已开源。详细内容请参见GitHub。