本文为您介绍LogHub Writer支持的数据类型、写入方式、字段映射和数据源等参数及配置示例。

LogHub Writer使用LogService的Java SDK，可以将数据集成Reader中的数据推送到指定的LogService LogHub上，供其它程序消费。
说明 由于LogHub无法实现幂等，FailOver重跑任务时会引起数据重复。

LogHub Writer通过数据集成框架获取Reader生成的数据，然后将数据集成支持的类型通过逐一判断转换成STRING类型。当达到您指定的batchSize时，会使用LogService Java SDK一次性推送至LogHub。默认情况下，一次推送1,024条数据，batchSize的最大值为4,096。

类型转换列表

LogHub Writer针对LogHub类型的转换列表，如下所示。
数据集成内部类型 LogHub数据类型
LONG STRING
DOUBLE STRING
STRING STRING
DATE STRING
BOOLEAN STRING
BYTES STRING

参数说明

参数 描述 是否必选 默认值
endpoint LogService地址。 是 无
accessKeyId 访问LogService的AccessKeyId。 是 无
accessKeySecret 访问LogService的AccessKeySecret。 是 无
project 目标LogService的项目名称。 是 无
logstore 目标LogService LogStore的名称。 是 无
topic 选取topic。 否 空字符串
batchSize LogHub一次同步的数据条数，默认1,024条。
说明 一次性同步至LogHub的数据大小不要超过5M，请根据您的单条数据量大小调整一次性推送的条数。
否 1,024

即一次推送1,024条，您可以修改该配置值。
column 每条数据中的column名称。 是 无

向导开发介绍

暂不支持向导模式开发。

脚本开发介绍

通过脚本模式开发的详情请参见通过脚本模式配置任务。

脚本配置示例如下，具体参数的填写请参见上述的参数说明。 
{
    "type": "job",
    "version": "2.0",//版本号。
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "loghub",//插件名。
            "parameter": {
                "datasource": "",//数据源。
                "column": [//字段。
                    "col0",
                    "col1",
                    "col2",
                    "col3",
                    "col4",
                    "col5"
                ],
                "topic": "",//选取topic。
                "batchSize": "1024",//一次性批量提交的记录数大小。
                "logstore": ""//目标LogService LogStore的名称。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""//错误记录数。
        },
        "speed": {
            "concurrent": 3,//作业并发数。
            "throttle": false,//false代表不限流，下面的限流速度不生效；true代表限流。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}