OSSExportConfiguration

更新時間:
Copy as MD

名稱

類型

描述

樣本值

object

OSSExportConfiguration

logstore

string

Logstore 名稱

my-logstore

roleArn

string

讀 SLS RAM 角色 roleArn,請填寫您自己的角色 roleArn

acs:ram::1234567890:role/aliyunlogdefaultrole

sink

object

投遞 OSS 配置

endpoint

string

  • OSS Endpoint,只能是 OSS 內網 Endpoint,僅支援同地區。詳情請參見 OSS 訪問網域名稱和資料中心,值為http://+OSS Endpoint

  • OSS-HDFS Endpoint,只能是 OSS-HDFS 內網 Endpoint,僅支援同地區。

https://oss-cn-hangzhou-internal.aliyuncs.com

bucket

string

OSS Bucket

my-bucket

prefix

string

OSS 檔案首碼

prefix-demo/

suffix

string

OSS 檔案尾碼

.json

roleArn

string

寫 OSS RAM 角色 roleArn,請填寫您自己的角色 roleArn

acs:ram::1234567890:role/aliyunlogdefaultrole

pathFormat

string

分區格式,詳情參見分區格式

%Y/%m/%d/%H/%M

pathFormatType

string

分區格式類型

time

timeZone

string

時區,詳情參見時區列表

+0800

contentType

string

OSS 檔案儲存體支援 4 種格式,如:json、parquet、csv、orc

csv

contentDetail

object

OSS 檔案內容詳情,注意:該參數值為 JSON 格式並且應受 contentType 參數值的不同進行更新。

any

contentType 值為 JSON 時,contentDetail 值的詳細參數:

  • enableTag
    • 是否必填:是

    • 類型:布爾

    • 描述:是否投遞 tag 欄位

    • 值:
      • true
        • 描述:投遞 tag 欄位

        • 樣本:{"enableTag": true}

      • false
        • 描述:不投遞 tag 欄位

        • 樣本:{"enableTag": false}

contentType 值為 csv 時,contentDetail 值的詳細參數:

  • columns
    • 是否必填:是

    • 類型:數組

    • 描述:源日誌庫中日誌的 key

    • 樣本:{"columns":["a", "b", "c", "d"]}

  • delimiter
    • 是否必填:是

    • 類型:字串

    • 描述:內容間分隔字元

    • 值:","、"|"、" " 或 "\t"

  • header
    • 是否必填:是

    • 類型:布爾

    • 描述:是否將欄位名稱寫入 CSV 檔案(第一行)

    • 值:
      • true

      • false

  • lineFeed
    • 是否必填:否

    • 類型:字串

    • 描述:自訂分行符號

    • 值:"\t"、"\n" 或 ""

    • 預設值:"\n"

  • null
    • 是否必填:否

    • 類型:字串

    • 描述:自訂無效欄位的填儲值

    • 預設值:""

  • quote
    • 是否必填:是

    • 類型:字串

    • 描述:自訂轉義符

    • 值:"\""、"'" 或 "" 完整樣本:{"null": "-", "header": false, "lineFeed": "\n", "quote": "", "delimiter": ",", "columns": ["a", "b", "c", "d"]}

contentType 值為 parquet 時,contentDetail 值的詳細參數:

  • columns
    • 是否必填:是

    • 類型:數組

    • 描述:源日誌庫中日誌的 key

    • 樣本:{"columns": [{"name": "a", "type": "string"}, {"name": "b", "type": "string"}, {"name": "c", "type": "string"},{"name": "d", "type": "string"}]}

contentType 值為 orc 時,contentDetail 值的詳細參數:

  • columns
    • 是否必填:是

    • 類型:數組

    • 描述:源日誌庫中日誌的 key

    • 樣本:{"columns": [{"name": "a", "type": "string"}, {"name": "b", "type": "string"}, {"name": "c", "type": "string"},{"name": "d", "type": "string"}]}

{ "columns": [ "your log key1", "your log key2", "your log key3", ], "delimiter": " ", "header": true, "lineFeed": "\n", "null": "-", "quote": "\"" },

compressionType

string

支援 4 種壓縮類型,如:snappy、gzip、zstd、none

snappy

bufferInterval

integer

投遞時間,取值範圍為 300~900,單位為秒。

300

bufferSize

integer

投遞的檔案大小,取值範圍為 5~256,單位為 MB。

256

delaySec

integer

延遲投遞時間

說明
  • 該欄位廢棄使用。

123

delaySeconds

integer

延遲投遞時間,設定的時間不能超過目標 Logstore 的資料儲存時間。

900

fromTime

integer

時間範圍開始,值設為 1 則表示將從日誌庫中第一條資料開始

1718380800

toTime

integer

時間範圍結束,值設為 0 則表示任務會一直運行,除非任務被手動停止。

1718380800

sourceSecureTransport

boolean