Hadoop代码中参数说明。

Hadoop代码中可使用如下参数配置。

属性名 默认值 说明
fs.oss.accessKeyId 访问OSS所需的 AccessKey ID(可选)。
fs.oss.accessKeySecret 访问OSS所需的AccessKey Secret(可选)。
fs.oss.securityToken 访问OSS所需的 STS token(可选)。
fs.oss.endpoint 访问OSS的endpoint(可选)。
fs.oss.multipart.thread.number 5 并发进行OSS的upload part copy的并发度。
fs.oss.copy.simple.max.byte 134217728 使用普通接口进行OSS内部copy的文件大小上限。
fs.oss.multipart.split.max.byte 67108864 使用普通接口进行OSS内部copy的文件分片大小上限。
fs.oss.multipart.split.number 5 使用普通接口进行OSS内部copy的文件分片数目,默认和拷贝并发数目保持一致。
fs.oss.impl com.aliyun.fs.oss.nat.NativeOssFileSystem OSS文件系统实现类。
fs.oss.buffer.dirs /mnt/disk1,/mnt/disk2,… OSS本地临时文件目录,默认使用集群的数据盘。
fs.oss.buffer.dirs.exists false 是否确保OSS临时目录已经存在。
fs.oss.client.connection.timeout 50000 OSS Client端的连接超时时间(单位毫秒)。
fs.oss.client.socket.timeout 50000 OSS Client端的socket超时时间(单位毫秒)。
fs.oss.client.connection.ttl -1 连接存活时间。
fs.oss.connection.max 1024 最大连接数目。
io.compression.codec.snappy.native false 标识Snappy文件是否为标准Snappy文件,Hadoop默认识别的是Hadoop修改过的Snappy格式文件。