本文说明如何创建云原生数据湖分析(Data Lake Analytics)Sink Connector,简称DLA Sink Connector,实现将消息队列Kafka版数据同步至DLA分析计算。

前提条件

  • 云原生数据湖分析(DLA)
  • 消息队列Kafka版
    • 已创建实例。具体操作,请参见创建实例
    • 已创建Topic。具体操作,请参见创建Topic
    • 已给创建的Topic发送消息。具体操作,请参见发送消息

创建DLA Sink Connector

  1. 登录消息队列Kafka版控制台
  2. 概览页面的资源分布区域,选择地域。
  3. 实例列表页面,单击目标实例名称。
  4. 在左侧导航栏,单击Connector 管理
  5. Connector 管理页面,单击创建 Connector
  6. 创建 Connector配置向导页面,完成以下操作。
    1. 配置基本信息页签,按需配置以下参数,然后单击下一步
      参数 描述 示例值
      名称 Connector的名称。命名规则:
      • 可以包含数字、小写英文字母和短划线(-),但不能以短划线(-)开头,长度限制为48个字符。
      • 同一个消息队列Kafka版实例内保持唯一。

      Connector的数据同步任务必须使用名称为connect-任务名称Group。如果您未手动创建该Group,系统将为您自动创建。

      dla-test
      实例 默认配置为实例的名称与实例ID。 demo alikafka_post-cn-st21p8vj****
    2. 配置源服务页签,选择数据源消息队列Kafka版,并配置以下参数,其余配置运行环境参数无需关注,然后单击下一步
      参数 描述 示例值
      数据源 Topic 需要同步数据的Topic名称。 dla-test
      消费初始位置 开始消费的位置。取值说明如下:
      • 最早位点:从最初位点开始消费。
      • 最近位点:从最新位点开始消费。
      最早位点
    3. 配置目标服务页签,选择目标服务实时日志数据湖分析,并配置以下参数,然后单击创建
      参数 描述 示例值
      库名 同步至DLA的库名称,不能和已有库同名。库名以字符开头,可包含字符、数字、下划线(_)。 dla_fromkafka
      表名 同步至DLA的表名。默认使用消息队列Kafka版的Topic名称作为表名,且把除去字母及数字的字符替换为下划线(_)。例如Topic名称为dla-test,表名默认变更为dla_test。 dla_test
    4. 使用必读:创建尚未完成,请在 DLA 控制台完成配置!对话框,认真阅读提示信息,单击立即配置,跳转至Data Lake Analytics控制台
  7. 如果没有创建湖仓, 跳转至Lakehouse湖仓一体化页面,创建入湖湖仓;如果已经创建湖仓,跳转至新建工作负载页面,在Kafka数据源页签,创建入湖工作负载,并启用工作负载进行数据分析。
    消息队列Kafka版控制台Connector 管理页面,您也可以查看创建的DLA Sink Connector任务。在操作列,还可以进行以下操作:
    • 单击详情,您可以查看DLA Sink Connector任务的配置信息。
    • 单击查看任务,跳转至Data Lake Analytics控制台,启用工作负载进行数据分析。
    • 单击删除,您可以清理任务。