OSSIngestionConfigurationSource - Simple Log Service - Alibaba Cloud ドキュメントセンター

パラメーター	タイプ	説明	例
	object	OSS からのデータ取り込みのための構成です。
endpoint	string	OSS エンドポイントです。	oss-cn-hangzhou.aliyuncs.com
bucket	string	OSS バケットの名前です。	ossbucket
compressionCodec	string	ソースファイルの圧縮タイプです。	none
encoding	string	ソースファイルのエンコーディングです。	UTF-8
interval	string	新規ファイルをチェックする間隔です。	never
pattern	string	パスでファイルをフィルターするための正規表現です。	.*
prefix	string	ファイルをフィルターするためのパスプレフィックスです。	prefix
restoreObjectEnabled	boolean	アーカイブ済みファイルをインポートするかどうかを指定します。	true
startTime	integer	この時刻以降に変更されたファイルのみをインポートします。値は UNIX タイムスタンプ（秒単位）です。	1714274081
endTime	integer	この時刻以前に変更されたファイルのみをインポートします。値は UNIX タイムスタンプ（秒単位）です。	1714360481
timeField	string	ログの時刻を含むフィールドです。	__time__
timeFormat	string	時刻フィールドのフォーマットです。	yyyy-MM-dd HH:mm:ss
timePattern	string	ログから時刻値を抽出するための正規表現です。	[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+
timeZone	string	ソースデータ内のタイムスタンプのタイムゾーンです。	GMT+08:00
useMetaIndex	boolean	OSS メタデータインデックスを使用してファイル検出を高速化するかどうかを指定します。	false
roleARN	string	OSS バケットへのアクセスに使用するロール ARN です。	acs:ram::12345:role/aliyunlogdefaultrole
tagPackId	boolean	コンテキスト取得を有効にするかどうかを指定します。	true
processorId	string	ライタープロセッサの ID です。	ingest-processor-1756802123-953901
format	object	ソースデータのフォーマットを定義します。
	any	OSS 内のオブジェクトのデータ形式です。 1 行テキストログ： `{"type":"Line"}` CSV： `{ "type": "CSV", "fieldDelimiter": ",", // 区切り文字 "quoteChar": "\"", // 引用符 "escapeChar": "\\", // エスケープ文字 "firstRowAsHeader": true, // 先頭行をヘッダーとして使用 "maxLines": 1, // 1 件のログあたりの最大行数 "skipLeadingRows": 0 // 先頭でスキップする行数 }` 1 行 JSON： `{"type": "JSON"}` 複数行テキストログ： `{ "type": "Multiline", "match": "after", // パターンマッチの位置 "pattern": "\\d+", // 正規表現 "maxLines": 10 // 1 件のログあたりの最大行数 }` ORC： `{"type": "ORC"}` Parquet： `{"type": "Parquet"}` Alibaba Cloud OSS アクセスログ： `{"type": "ossAccessLog"}` Alibaba Cloud CDN ダウンロードログ： `{"type": "cdnDownloadedLog"}`	{"type": "Line"}
advancedParameters	object
	any

object

OSS からのデータ取り込みのための構成です。

endpoint

string

OSS エンドポイントです。

oss-cn-hangzhou.aliyuncs.com

bucket

string

OSS バケットの名前です。

ossbucket

compressionCodec

string

ソースファイルの圧縮タイプです。

none

encoding

string

ソースファイルのエンコーディングです。

UTF-8

interval

string

新規ファイルをチェックする間隔です。

never

pattern

string

パスでファイルをフィルターするための正規表現です。

.*

prefix

string

ファイルをフィルターするためのパスプレフィックスです。

prefix

restoreObjectEnabled

boolean

アーカイブ済みファイルをインポートするかどうかを指定します。

true

startTime

integer

この時刻以降に変更されたファイルのみをインポートします。値は UNIX タイムスタンプ（秒単位）です。

1714274081

endTime

integer

この時刻以前に変更されたファイルのみをインポートします。値は UNIX タイムスタンプ（秒単位）です。

1714360481

timeField

string

ログの時刻を含むフィールドです。

__time__

timeFormat

string

時刻フィールドのフォーマットです。

yyyy-MM-dd HH:mm:ss

timePattern

string

ログから時刻値を抽出するための正規表現です。

[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+

timeZone

string

ソースデータ内のタイムスタンプのタイムゾーンです。

GMT+08:00

useMetaIndex

boolean

OSS メタデータインデックスを使用してファイル検出を高速化するかどうかを指定します。

false

roleARN

string

OSS バケットへのアクセスに使用するロール ARN です。

acs:ram::12345:role/aliyunlogdefaultrole

tagPackId

boolean

コンテキスト取得を有効にするかどうかを指定します。

true

processorId

string

ライタープロセッサの ID です。

ingest-processor-1756802123-953901

format

object

ソースデータのフォーマットを定義します。

any

OSS 内のオブジェクトのデータ形式です。

1 行テキストログ： {"type":"Line"}
CSV：

{
  "type": "CSV",
  "fieldDelimiter": ",",   // 区切り文字
  "quoteChar": "\"",      // 引用符
  "escapeChar": "\\",    // エスケープ文字
  "firstRowAsHeader": true,    // 先頭行をヘッダーとして使用
  "maxLines": 1,    // 1 件のログあたりの最大行数
  "skipLeadingRows": 0   // 先頭でスキップする行数
}

1 行 JSON： {"type": "JSON"}
複数行テキストログ：

{
  "type": "Multiline",
  "match": "after", // パターンマッチの位置
  "pattern": "\\d+", // 正規表現
  "maxLines": 10 // 1 件のログあたりの最大行数
}

ORC： {"type": "ORC"}
Parquet： {"type": "Parquet"}
Alibaba Cloud OSS アクセスログ： {"type": "ossAccessLog"}
Alibaba Cloud CDN ダウンロードログ： {"type": "cdnDownloadedLog"}

{"type": "Line"}

advancedParameters

object

any