Elasticsearch数据源为您提供读取和写入Elasticsearch双向通道的功能，您可以通过脚本模式配置同步任务。

背景信息

  • DataWorks平台目前仅支持配置阿里云Elasticsearch5.x、6.x、7.x版本数据源，不支持配置自建Elasticsearch数据源。
  • 如果您使用的是6.x及以上版本，仅支持使用独享数据集成资源组。

操作步骤

  1. 进入数据源管理页面。
    1. 登录DataWorks控制台。
    2. 在左侧导航栏，单击工作空间列表。
    3. 选择工作空间所在地域后，鼠标悬浮至图标图标，单击工作空间配置。
    4. 在左侧导航栏，单击数据源管理，进入数据源管理页面。
    说明 您也可以在数据集成页面进入数据源管理配置数据源，但此方式只支持生产环境的数据源。
  2. 在数据源管理页面，单击右上角的新增数据源。
  3. 在新增数据源对话框中，选择数据源类型为Elasticsearch。
  4. 在新增Elasticsearch数据源对话框中，配置各项参数。
    Elasticsearch数据源包括阿里云实例模式和连接串模式两种类型：实例形式
    • 以新增阿里云实例模式类型的数据源为例。
      参数描述
      数据源类型当前选择的数据源类型为阿里云实例模式。
      数据源名称数据源名称必须以字母、数字、下划线组合，且不能以数字和下划线开头。
      数据源描述对数据源进行简单描述，不得超过80个字符。
      适用环境可以选择开发或生产环境。
      说明 仅标准模式工作空间会显示该配置。
      地域购买Elasticsearch时选择的地域。
      用户名数据库对应的用户名。
      密码数据库对应的密码。
    • 以新增连接串模式类型的数据源为例。ES
      参数描述
      数据源名称数据源名称必须以字母、数字、下划线组合，且不能以数字和下划线开头。
      数据源描述对数据源进行简单描述，不得超过80个字符。
      适用环境可以选择开发或生产环境。
      说明 仅标准模式工作空间会显示该配置。
      Endpoint格式为http://esxxxx.elasticsearch.aliyuncs.com:9200。
      安全验证此处可以选择用户密码登录或匿名登录。
      用户名数据库对应的用户名。
      密码数据库对应的密码。
  5. 选择资源组连通性类型为数据集成。
  6. 在资源组列表，单击相应资源组后的测试连通性。
    数据同步时，一个任务只能使用一种资源组。您需要测试每个资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组，请选中相应资源组后，单击批量测试连通性。详情请参见配置资源组与网络连通。
    说明
    • （推荐）资源组列表默认仅显示独享数据集成资源组，为确保数据同步的稳定性和性能要求，推荐使用独享数据集成资源组。
    • 如果您需要测试公共资源组或自定义资源组的连通性，请在资源组列表右下方，单击更多选项，在警告对话框单击确定，资源组列表会显示可供选择的公共资源组和自定义资源组。
  7. 测试连通性通过后，单击完成。

后续步骤

现在，您已经学习了如何配置Elasticsearch数据源，您可以继续下一个教程。在该教程中，您将学习如何配置Elasticsearch插件。详情请参见Elasticsearch Reader和Elasticsearch Writer。