|
名稱 |
類型 |
描述 |
樣本值 |
|---|---|---|---|
|
object |
S3 匯入配置 |
||
| awsRegion |
string |
s3 region |
ap-northeast-1 |
| awsAccessKey |
string |
aws access key |
AKIxxxxxxxxxxYJE |
| awsAccessKeySecret |
string |
aws access key secret |
123xxxxxxxxxxfjf |
| bucket |
string |
s3 bucket |
s3bucket |
| compressionCodec |
string |
壓縮類型：none,snappy,gzip |
none |
| encoding |
string |
編碼類別型 |
UTF-8 |
| interval |
string |
檢查新檔案周期 |
30m |
| pattern |
string |
檔案路徑正則過濾 |
.* |
| prefix |
string |
檔案路徑首碼過濾 |
prefix |
| awsUseSQS |
boolean |
使用 sqs |
false |
| awsSQSQueueUrl |
string |
sqs queue url |
https://sqs.ap-northeast-1.amazonaws.com/123456788/chifan |
| useAwsSQSOnly |
boolean |
僅使用 sqs 擷取新檔案 |
false |
| tagPackId |
boolean |
支援上下文瀏覽 |
false |
| startTime |
integer |
某個時間點後修改過的檔案 |
1714274081 |
| endTime |
integer |
某個時間點前修改過的檔案 |
1714360481 |
| timeField |
string |
提取時間欄位 |
__time__ |
| timeFormat |
string |
時間欄位格式 |
yyyy-MM-dd HH:mm:ss |
| timePattern |
string |
提取時間正則 |
[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+ |
| timeZone |
string |
時間欄位分區 |
GMT+08:00 |
| processorId |
string |
寫入處理器 ID |
ingest-processor-1756802123-953901 |
| endpoint |
string |
s3 endpoint |
s3.us-east-1.amazonaws.com |
| cloudFrontEndpoint |
string |
||
| cloudFrontToken |
string |
||
| useCloudFront |
boolean |
||
| format |
object |
格式 |
|
|
any |
格式 |
{"type": "line"} |