Redis Writer是基于数据集成框架实现的Redis写入插件，可以通过Redis Writer从数仓或者其它数据源导入数据至Redis。

Redis（REmote DIctionary Server）是一个可以基于内存也可以持久化的日志型、高性能、支持网络的key-value存储系统，可以用作数据库、高速缓存和消息队列代理。Redis支持较丰富的存储value类型，包括String（字符串）、List（链表）、Set（集合）、ZSet（sorted set有序集合）和Hash（哈希类型）。Redis详情请参见redis.io。

Redis Writer与Redis Server之间的交互基于Jedis实现，Jedis是Redis官方首选的Java客户端开发包。
说明
  • 当前仅支持向集群化（Cluster）部署的Redis中导入数据，且数据导入过程仅支持使用独享数据集成资源组。
  • 开始配置Redis Writer插件前，请首先配置好数据源，详情请参见配置Redis数据源。
  • 使用Redis Writer向Redis写入数据时，如果Value类型是List，重跑同步任务的同步结果不是幂等的。因此，如果Value类型是List ，重跑同步任务时，需要您手动清空Redis上相应的数据。

参数说明

参数 描述 是否必选 默认值
expireTime Redis value值缓存失效时间，单位为秒。如果不填该配置项，则该配置项取值为默认值0，表示永久有效。
expireTime的配置方式有以下两种：
  • seconds方式：指定了从现在开始多长时间后数据失效，取值是失效时间相对当前时间的秒数。
  • unixtime方式：指定了从1970.1.1开始多长时间后数据失效。取值是失效时间相对1970.1.1时间的秒数。
    说明 如果expireTime的取值大于60*60*24*30（即失效时间超过30天），则服务端均将expireTime以unixtime方式进行配置。
否 0（0表示永久有效）
keyFieldDelimiter 写入Redis的Key分隔符。例如key=key1\u0001id，如果有多个Key需要拼接时，该值为必填项。如果只有一个Key，则可以忽略该配置项。 否 \u0001
dateFormat 写入Redis时，Date的时间格式为yyyy-MM-dd HH:mm:ss。 否 无
datasource 数据源名称。该配置项填写的内容必须与添加的数据源名称保持一致。 是 无
writeMode Redis Writer写入Redis的value类型包含以下5种：
  • 字符串（string）
  • 字符串列表（list）
  • 字符串集合（set）
  • 有序字符串集合（zset）
  • 哈希（hash）
不同的value类型，writeMode配置会略有差异，详细说明可参见writeMode参数说明。
说明 配置Redis Writer时，您需要配置writeMode为支持的5种写入数据类型中的1种类型，且只能配置1种。如果您没有配置，则writeMode取值为默认值string。
否 string
keyIndexes 指定作为key的源端列的列序号。列序号从0开始（即第1列的序号是0，第2列的序号是1，依次类推）。
  • 源端的某一列作为Redis的key时：配置为对应列的序号即可，例如，第1列作为key，则配置为0。
  • 源端的连续多列组合作为Redis的key时：配置为对应多列的序号数组，例如，第2列至第4列组合作为key，则配置为[1,3]。
说明 配置keyIndexes后，Redis Writer会将其余的列作为Value。如果您只想同步源表的某几列作为Key，某几列作为Value，则无需同步所有字段，在Reader插件端指定好column进行列筛选即可。
是 无
batchSize 一次性批量提交的记录数大小。该值可以极大减少数据同步系统与Redis的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。 否 1,000
timeout 写入Redis的超时时间，单位为毫秒。 否 30,000
redisMode Redis的模式。当前仅支持集群部署模式的Redis，此配置项需配置为ClusterMode。
说明 仅支持使用独享数据集成资源组。
否 无
column

写入Redis的column配置。对于Redis对应类型为string，set操作时：

  • 如果此column没有配置，那么value的格式是分隔符连接的字符串。(csv格式，假设ID的值为1，name的值为"小王"，age的值为18，sex的值为男，Redis的value结果示例："18：：男")；
  • 如果配置了column，且按照如下格式配置，比如"column": [{"index":"0", "name":"id"}, {"index":"1", "name":"content"}] , 这样Redis的value数据写出到Redis后，以 {"id":"对应源头列的值","name":"对应源头列的值"} 的JSON形式存储，假设id的值为1，name的值为"小王"，Redis的value结果示例{"id":1,"name":"小王"}”
否 无

writeMode参数说明

配置Redis Writer时，您需要配置writeMode为支持的5种写入数据类型中的1种类型，且只能配置1种。如果您没有配置，则writeMode取值为默认值string。
value类型 type参数（必选） mode参数（必选） valueFieldDelimiter参数（非必选） writeMode配置样例
字符串（string） type需配置为string。 mode为写入模式参数，value为字符串（string）时：
  • mode需配置为set。
  • 如果需存储的数据已经存在，则覆盖原有的数据。
 valueFieldDelimiter为value之间的分隔符，默认值为\u0001。
  • 该配置项主要用于源数据每行超过两列的情况，例如有三列时，各列通过分隔符分割样例为value1\u0001value2\u0001value3。
  • 如果源数据只有两列（即key和value）时，则无需配置。
 
"writeMode":{
        "type": "string",
        "mode": "set",
        "valueFieldDelimiter": "\u0001"
        }
字符串列表（list） type需配置为list。 mode为写入模式参数，value为字符串列表（list）时，可配置为：
  • lpush，表示在list最左边存储数据。
  • rpush，表示在list最右边存储数据。 
"writeMode":{
    "type": "list",
    "mode": "lpush|rpush",
    "valueFieldDelimiter": "\u0001"
}
字符串集合（set） type需配置为set。 mode为写入模式参数，value为字符串集合（set）时：
  • mode需配置为sadd，表示向set集合中存储数据。
  • 如果需存储的数据已经存在，则覆盖原有的数据。
 
"writeMode":{
        "type": "set",
        "mode": "sadd",
        "valueFieldDelimiter": "\u0001"
        }
有序字符串集合（zset） type需配置为zset。 mode为写入模式参数，value为有序字符串集合（zset）时：
  • mode需配置为zadd，表示向zset有序集合中存储数据。
  • 如果需存储的数据已经存在，则覆盖原有的数据。
 无需配置此参数。 
"writeMode":{
        "type": "zset",
        "mode": "zadd"
        }
说明 当value类型为zset时，数据源的每行记录均需遵循相应的规范。即每行记录除key外，只能有1对score和value，并且score必须在value前面，Redis Writer方可解析出column对应的是score或value。
哈希（hash） type需配置为hash。 mode为写入模式参数，value为哈希（hash）时：
  • mode需配置为hset，表示向hash有序集合中存储数据。
  • 如果需存储的数据已经存在，则覆盖原有的数据。
 无需配置此参数。 
"writeMode":{
        "type": "hash",
        "mode": "hset"
        }
说明 当value类型为hash时，数据源的每行记录都需遵循相应的规范。即每行记录除key外，只能有1对attribute和value，并且attribute必须在value前面，Redis Writer方可解析出column对应的是attribute或value。

向导开发介绍

  1. 选择数据源。
    配置同步任务的数据来源和数据去向。选择数据源
    参数 描述
    数据源 即上述参数说明中的datasource，通常填写您配置的数据源名称。
    Key索引 即上述参数说明中的keyIndexes。指定作为key的源端列的列序号，列序号从0开始（即第1列的序号是0，第2列的序号是1，依次类推）。
    Key分隔符 即上述参数说明中的keyFieldDelimiter。写入Redis的Key分隔符。
    Key前缀 Key的前缀，例如，前缀为prefix::，key为1::2，最后生成的key为prefix::1::2。
    批量条数 即上述参数说明中的batchSize。
    缓存失效时间 即上述参数说明中的expireTime。
    超时时间 即上述参数说明中的timeout。
    时间格式 即上述参数说明中的dateFormat。
    Redis模式 即上述参数说明中的redisMode。
    Redis写入数据类型 即上述参数说明中的writeMode。
    Redis写入方式 Redis Writer写入Redis的方式包含：set、Ipush、rpush、sadd、zadd、hset。详情请参见：writeMode参数说明。
    写入分隔符 即上述参数说明中的keyFieldDelimiter。
  2. 字段映射，即上述参数说明中的column。默认使用同行映射。您可以单击图标图标手动编辑目标表字段。字段映射
  3. 通道控制。通道配置
    参数 描述
    任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。
    同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成太大的压力。同步速率建议限流，结合源库的配置，请合理配置抽取速率。
    错误记录数 错误记录数，表示脏数据的最大容忍条数。
    分布式处理能力

    数据同步时，可以将任务切片分散到多台执行节点上并发执行，提高同步速率。该模式下，配置较大任务并发数会增加数据存储访问压力，如需使用该功能，请提前评估数据存储的访问负载。该功能仅支持在独享数据集成资源组配置，详情请参见独享数据集成资源组和新增和使用独享数据集成资源组。

脚本开发介绍

以下以读取MySQL数据并写入Redis为例，为您示例读取端MySQL Reader和写入端Redis Writer的脚本代码样例。写入Redis的数据同步作业，具体参数填写请参见参数说明。
说明 通过脚本模式开发的通用流程可参见通过脚本模式配置任务。 
{
    "type":"job",
    "version":"2.0",  //版本号
    "steps":[
        { //以下为读取端代码样例，读取端的参数详情可查看对应数据源的Reader插件文档。
            "stepType":"mysql",   
            "parameter": {
                "envType": 0,
                "datasource": "xc_mysql_demo2"，
                "column": [
                    "id",
                    "value",
                    "table"
                ],
                "connection": [
                    {
                        "datasource": "xc_mysql_demo2",
                        "table": []
                    }
                ],
                "where": "",
                "splitPk": "",
                "encoding": "UTF-8"
            },,
            "name":"Reader",
            "category":"reader"
        },
        {//以下为写入端代码样例。
            "stepType":"redis",                    //Redis Writer的插件名，配置为redis。
            "parameter":{                          //以下为Redis Writer的主要参数，各参数的配置详情可参见参数说明。
                "expireTime":{                     //Redis value值缓存失效时间，可配置为seconds类型或unixtime类型。"seconds":"1000"
                            }, 
                "keyFieldDelimiter":"u0001",       //写入Redis的key的分隔符。
                "dateFormat":"yyyy-MM-dd HH:mm:ss",//写入Redis时，Date的时间格式。
                "datasource":"xc_mysql_demo2",     //数据源名称，需与添加的数据源名称保持一致。
                "envType": 0,                      //环境类型，开发环境：1，生产环境：0。
                "writeMode":{                      //写入模式。
                    "type":"string"                //value类型。
                    "mode":"set",                  //value是某类型时，写入的模式。
                    "valueFieldDelimiter":"u0001", //value之间的分隔符。
                             },
                "keyIndexes":[0,1],                //用于源端到Redis的映射，指定源端需要作为key的列（第1列从0开始），如果源端第1列、第2列组合作为Redis的key，这里配置为[0,1]。
                "batchSize":"1000"                 //一次性批量提交的记录数大小。
        "column": [                        // 对于redis类型为string，set操作，如果此column没有配置那么value的格式是分隔符连接的字符串(csv格式，假设ID的值为1，name的值为"小王"，age的值为18，sex的值为男，redis的value结果示例："18::男")；如果配置了column，且按照如下格式配置，则redis 的value将把原列的列名和值写入成JSON格式，假设id的值为1，name的值为"小王"，age的值为18，sex的值为男，redis的value结果示例{"id":1,"name":"小王","age":18,"sex":"男"}
                {
                "name": "id",
                "index": "0"

                },
                {
                "name": "name",
                "index": "1"
                },
                {
                "name": "age",
                "index": "2"
                },
                {
                "name": "sex",
                "index": "3"
                }
            ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"                           //错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}