阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,为您提供发布(Publish)、订阅(Subscribe)和分发流式数据的功能,让您可以轻松构建基于流式数据的分析和应用。

Datahub Reader通过Datahub的Java SDK读取Datahub中的数据,具体使用的Java SDK版本,如下所示。
<dependency>
    <groupId>com.aliyun.datahub</groupId>
    <artifactId>aliyun-sdk-datahub</artifactId>
    <version>2.9.1</version>
</dependency>

参数说明

参数 描述 是否必选
endpoint Datahub的endpoint
accessId 访问Datahub的用户accessId
accessKey 访问Datahub的用户accessKey
project 目标Datahub的项目名称。project是Datahub中的资源管理单元,用于资源隔离和控制。
topic 目标Datahub的topic名称。
batchSize 一次读取的数据量,默认为1,024条。
beginDateTime 数据消费的开始时间位点。该参数是时间范围(左闭右开)的左边界,yyyyMMddHHmmss格式的时间字符串,可以和DataWorks的调度时间参数配合使用。
说明 beginDateTimeendDateTime需要互相组合配套使用。
endDateTime 数据消费的开始时间位点。该参数是时间范围(左闭右开)的右边界,yyyyMMddHHmmss格式的时间字符串,可以和DataWorks的调度时间参数配合使用。
说明 beginDateTimeendDateTime需要互相组合配套使用。

向导开发介绍

暂不支持向导模式开发。

脚本开发介绍

配置一个从Datahub读取数据的作业,使用脚本开发的详情请参见通过脚本模式配置任务
{
    "job": {
         "content": [
            {
                "reader": {
                    "name": "datahubreader",
                    "parameter": {
                        "endpoint": "xxx" //Datahub的endpoint。
                        "accessId": "xxx", //访问DataHub的用户accessId。
                        "accessKey": "xxx", //访问DataHub的用户accessKey。
                        "project": "xxx", //目标Datahub的项目名称。
                        "topic": "xxx" //目标Datahub的topic名称。
                        "batchSize": 1000, //一次读取的数据量。
                        "beginDateTime": "20180910111214", //数据消费的开始时间位点。
                        "endDateTime": "20180910111614", //数据消费的结束时间位点。
                        "column": [
                            "col0",
                            "col1",
                            "col2",
                            "col3",
                            "col4"
                        ]
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": false
                    }
                }
            }
        ]
    }
}