LogHub（SLS） Writer -

本文为您介绍LogHub（SLS） Writer支持的数据类型、写入方式、字段映射和数据源等参数及配置示例。

LogHub（SLS） Writer使用LogService的Java SDK，可以将数据集成Reader中的数据推送到指定的LogService LogHub（SLS）上，供其它程序消费。

说明由于LogHub（SLS）无法实现幂等，FailOver重跑任务时会引起数据重复。

LogHub（SLS） Writer通过数据集成框架获取Reader生成的数据，然后将数据集成支持的类型通过逐一判断转换成STRING类型。当达到您指定的batchSize时，会使用LogService Java SDK一次性推送至LogHub（SLS）。默认情况下，一次推送1,024条数据，batchSize的最大值为4,096。

类型转换列表

LogHub（SLS） Writer针对LogHub（SLS）类型的转换列表，如下所示。


数据集成内部类型	LogHub（SLS）数据类型
LONG	STRING
DOUBLE	STRING
STRING	STRING
DATE	STRING
BOOLEAN	STRING
BYTES	STRING

参数说明


参数	描述	是否必选	默认值
endpoint	日志服务入口endPoint是访问一个项目（Project）及其内部日志数据的URL。它和Project所在的阿里云地域（Region）及Project名称相关。各地域的服务入口请参见：服务入口。	是	无
accessKeyId	访问日志服务的AccessKeyId。	是	无
accessKeySecret	访问日志服务的AccessKeySecret。	是	无
project	目标日志服务的项目名称。	是	无
logstore	目标日志库的名称，logstore是日志服务中日志数据的采集、存储和查询单元。	是	无
topic	目标日志服务的topic名称。	否	空字符串
batchSize	LogHub（SLS）一次同步的数据条数，默认1,024条。说明一次性同步至LogHub（SLS）的数据大小不要超过5M，请根据您的单条数据量大小调整一次性推送的条数。	否	1,024 即一次推送1,024条，您可以修改该配置值。
column	每条数据中的column名称。	是	无

向导开发介绍

选择数据源。

配置同步任务的数据来源和数据去向。选择数据源


参数	描述
数据源	在下拉列表中选择您配置的数据源名称。
Logstore	即上述参数说明中的logstore。
Topic	即上述参数说明中的topic。
批量条数	即上述参数说明中的batchSize。

字段映射，即上述参数说明中的column。左侧的源头表字段和右侧的目标表字段为一一对应的关系。


参数	描述
同名映射	单击同名映射，可以根据名称建立相应的映射关系，请注意匹配数据类型。
同行映射	单击同行映射，可以在同行建立相应的映射关系，请注意匹配数据类型。
取消映射	单击取消映射，可以取消建立的映射关系。
自动排版	可以根据相应的规律自动排版。

通道控制。


参数	描述
任务期望最大并发数	数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。
同步速率	设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成太大的压力。同步速率建议限流，结合源库的配置，请合理配置抽取速率。
错误记录数	错误记录数，表示脏数据的最大容忍条数。
分布式处理能力	数据同步时，可以将任务切片分散到多台执行节点上并发执行，提高同步速率。该模式下，配置较大任务并发数会增加数据存储访问压力，如需使用该功能，请提前评估数据存储的访问负载。该功能仅支持在独享数据集成资源组配置，详情请参见独享数据集成资源组概述和新增和使用独享数据集成资源组。

脚本开发介绍

通过脚本模式开发的详情请参见通过脚本模式配置任务。

脚本配置示例如下，具体参数的填写请参见上述的参数说明。

{
    "type": "job",
    "version": "2.0",//版本号。
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "LogHub",//插件名。
            "parameter": {
                "datasource": "",//数据源。
                "column": [//字段。
                    "col0",
                    "col1",
                    "col2",
                    "col3",
                    "col4",
                    "col5"
                ],
                "topic": "",//选取topic。
                "batchSize": "1024",//一次性批量提交的记录数大小。
                "logstore": ""//目标LogService LogStore的名称。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""//错误记录数。
        },
        "speed": {
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":3, //作业并发数。
            "mbps":"12"//限流
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}