全部产品
Search
文档中心

日志服务(SLS)增量导入

更新时间: 2021-10-21

本文主要介绍日志服务(SLS)增量导入的操作过程。

前提条件

  • 已购买LTS数据迁移同步服务,配置LTS操作页面账户密码,并登录LTS操作页面。

  • 已登录LTS操作页面, 创建HBase数据源。

  • 已登录LTS操作页面, 创建Loghub数据源。

HBase版本

  • 自建HBase1.x、2.x (未开启kerberos)。

  • EMR HBase。

  • 标准版云HBase、增强版云HBase(集群版本, 暂不支持单机版)。

任务创建

  1. 进入BDS操作页面,选择左侧导航栏导入Lindorm/HBase > SLS实时数据复制。sls_cn1

  2. 单击创建任务源集群选择对应的loghub(SLS)目标数据源(HBase、Phoenix),选择HBase数据源,填写字段映射mapping。sls_cn2

  3. 单击创建,查看通道详情。sls_cn3

参数说明

{
  "reader": {
    "columns": [
      "__client_ip__",
      "C_Source",
      "id",
      "name"
    ],
    "consumerSize": 2, // 指定有多少个consumer订阅loghub的数据,默认是1
    "logstore": "bds-test"
  },
  "writer": {
    "columns": [
      {
        "name": "f:col1",
        "value": "{{ concat('xx', name) }}" // 支持表达式
      },
      {
        "name": "f:col2",
        "value": "__client_ip__" // 列名映射
      },
      {
        "name": "f:*" // 没有匹配到的列会走默认的匹配
      }
    ],
    "rowkey": {
      "value": "{{ concat('idg',id) }}"
    },
    "tableName": "default:sls"
  }
}
  • 支持简单的表达式,如下

{
  "name": "cf1:hhh",
  "value": "{{ concat(title, id) }}"
}