：HDFS Reader

• 由于连通默认资源组到HDFS的网络链路比较复杂，建议您使用独享数据集成资源组完成数据同步任务。您需要确保您的独享数据集成资源组具备HDFS的namenode和datanode的网络访问能力。
• HDFS默认情况下，使用网络白名单进行数据安全。基于此种情况，建议您使用独享数据集成资源组完成针对HDFS的数据同步任务。
• 您通过脚本模式配置HDFS同步作业，并不依赖HDFS数据源网络连通性测试通过，针对此类错误您可以临时忽略。
• 数据集成同步进程以admin账号启动，您需要确保操作系统的admin账号具备访问相应HDFS文件的读写权限，若无权限，可以转脚本模式，添加"hdfsUsername": "有权限的用户" 。

• 支持TextFile、ORCFile、rcfile、sequence file、csv和parquet格式的文件，且要求文件内容存放的是一张逻辑意义上的二维表。
• 支持多种类型数据读取（使用String表示），支持列裁剪，支持列常量。
• 支持递归读取、支持正则表达式*和?。
• 支持ORCFile数据压缩，目前支持SNAPPY和ZLIB两种压缩方式。
• 支持SequenceFile数据压缩，目前支持lZO压缩方式。
• 多个File可以支持并发读取。
• CSV类型支持压缩格式有gzip、bz2、zip、lzo、lzo_deflate和snappy。
• 目前插件中Hive版本为1.1.1，Hadoop版本为2.7.1（Apache适配JDK1.6］，在Hadoop 2.5.0、Hadoop 2.6.0和Hive 1.2.0测试环境中写入正常。

1. 选择数据源。
   配置同步任务的数据来源和数据去向。

   参数	描述
   数据源	即上述参数说明中的datasource，通常输入您配置的数据源名称。
   文件路径	即上述参数说明中的path。
   文本类型	即上述参数说明中的fileType。读取的文件类型，目前支持您配置为TEXT、ORC、RC、SEQ、CSV和parquet。
   字段分隔符	即上述参数说明中的fieldDelimiter，默认值为（,）。
   文件编码	即上述脚本模式参数说明中的encoding，默认值为utf-8。
   Kerberos认证	是否有Kerberos认证，默认为否，当配置为是的时候，配置项Keytab文件路径和Principal名为必填。详情请参见附录：配置Kerberos认证。
   是否忽略(文件不存在时)	用户配置的文件，或者文件夹不存在时，是否忽略（即日志中不报异常信息），是表示文件不存在则忽略，否表示文件不存在则任务出错。默认值为否。
   NullFormat	即上述参数说明中的NullFormat。定义哪些字符串可以表示为null。
   HadoopConfig	hadoopConfig中可以配置与Hadoop相关的一些高级参数，例如HA的配置。公共资源组不支持Hadoop高级参数HA的配置。

2. 字段映射，即上述参数说明中的column。默认使用同行映射。您可以单击图标手动编辑源表字段 ，一行表示一个字段，首尾空行会被采用，其它空行会被忽略。
   

   说明 index从0开始（下标索引从0开始计数），表示从本地文本文件第一列开始读取数据。
3. 通道控制。

   参数	描述
   任务期望最大并发数	数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。
   同步速率	设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成太大的压力。同步速率建议限流，结合源库的配置，请合理配置抽取速率。
   错误记录数	错误记录数，表示脏数据的最大容忍条数。
   分布式处理能力	数据同步时，可以将任务切片分散到多台执行节点上并发执行，提高同步速率。该模式下，配置较大任务并发数会增加数据存储访问压力，如需使用该功能，请提前评估数据存储的访问负载。该功能仅支持在独享数据集成资源组配置，详情请参见独享数据集成资源组和新增和使用独享数据集成资源组。

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "hdfs",//插件名
            "parameter": {
                "path": "",//要读取的文件路径
                "datasource": "",//数据源
                "hadoopConfig":{
                "dfs.data.transfer.protection": "integrity",
               "dfs.datanode.use.datanode.hostname" :"true",
                "dfs.client.use.datanode.hostname":"true"
                 },
                "column": [
                    {
                        "index": 0,//序列号,index从0开始（下标索引从0开始计数），表示从本地文本文件第一列开始读取数据。
                        "type": "string"//字段类型
                    },
                    {
                        "index": 1,
                        "type": "long"
                    },
                    {
                        "index": 2,
                        "type": "double"
                    },
                    {
                        "index": 3,
                        "type": "boolean"
                    },
                    {
                        "format": "yyyy-MM-dd HH:mm:ss", //日期格式
                        "index": 4,
                        "type": "date"
                    }
                ],
                "fieldDelimiter": ",",//列分隔符
                "encoding": "UTF-8",//编码格式
                "fileType": ""//文本类型
            },
            "name": "Reader",
            "category": "reader"
        },
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""//错误记录数
        },
        "speed": {
            "concurrent": 3,//作业并发数
            "throttle": true //当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "mbps":"12"//限流
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}