本文说明如何创建云原生数据湖分析(Data Lake Analytics)Sink Connector,简称DLA Sink Connector,实现将云消息队列 Kafka 版数据同步至DLA分析计算。

前提条件

  • 云原生数据湖分析(DLA)
  • 云消息队列 Kafka 版
    • 已创建实例。具体操作,请参见创建实例
    • 已创建Topic。具体操作,请参见创建Topic
    • 已给创建的Topic发送消息。具体操作,请参见发送消息

创建DLA Sink Connector

  1. 登录云消息队列 Kafka 版控制台
  2. 概览页面的资源分布区域,选择地域。
  3. 在左侧导航栏,单击Connector 任务列表
  4. Connector 任务列表页面,从选择实例的下拉列表选择Connector所属的实例,然后单击创建 Connector
  5. 创建 Connector配置向导页面,完成以下操作。
    1. 配置基本信息页签,按需配置以下参数,然后单击下一步
      参数描述示例值
      名称Connector的名称。命名规则:
      • 可以包含数字、小写英文字母和短划线(-),但不能以短划线(-)开头,长度限制为48个字符。
      • 同一个云消息队列 Kafka 版实例内保持唯一。

      Connector的数据同步任务必须使用名称为connect-任务名称Group。如果您未手动创建该Group,系统将为您自动创建。

      dla-test
      实例默认配置为实例的名称与实例ID。demo alikafka_post-cn-st21p8vj****
    2. 配置源服务页签,选择数据源消息队列Kafka版,并配置以下参数,其余配置运行环境参数无需关注,然后单击下一步
      参数描述示例值
      数据源 Topic需要同步数据的Topic名称。dla-test
      消费初始位置开始消费的位置。取值说明如下:
      • 最早位点:从最初位点开始消费。
      • 最近位点:从最新位点开始消费。
      最早位点
    3. 配置目标服务页签,选择目标服务实时日志数据湖分析,并配置以下参数,然后单击创建
      参数描述示例值
      库名同步至DLA的库名称,不能和已有库同名。库名以字符开头,可包含字符、数字、下划线(_)。dla_fromkafka
      表名同步至DLA的表名。默认使用云消息队列 Kafka 版的Topic名称作为表名,且把除去字母及数字的字符替换为下划线(_)。例如Topic名称为dla-test,表名默认变更为dla_test。dla_test
    4. 使用必读:创建尚未完成,请在 DLA 控制台完成配置!对话框,认真阅读提示信息,单击立即配置,跳转至Data Lake Analytics控制台
  6. 如果没有创建湖仓, 跳转至Lakehouse湖仓一体化页面,创建入湖湖仓;如果已经创建湖仓,跳转至新建工作负载页面,在Kafka数据源页签,创建入湖工作负载,并启用工作负载进行数据分析。
    云消息队列 Kafka 版控制台Connector 任务列表页面,您也可以查看创建的DLA Sink Connector任务。在操作列,还可以进行以下操作:
    • 单击详情,您可以查看DLA Sink Connector任务的配置信息。
    • 单击查看任务,跳转至Data Lake Analytics控制台,启用工作负载进行数据分析。
    • 单击删除,您可以清理任务。