GCSIngestionConfigurationSource - Simple Log Service - Alibaba Cloud ドキュメントセンター

パラメーター	タイプ	説明	例
	object	Google Cloud Storage (GCS) データソースからのデータインジェストの構成を指定します。
endpoint	string	GCS のサービスエンドポイントです。非公開または高速接続用にカスタムエンドポイントを使用できます。	oss-cn-hangzhou.aliyuncs.com
bucket	string	ソースデータファイルを含む GCS バケットの名前です。	gcsbucket
compressionCodec	string	ソースファイルの圧縮フォーマットです。サポートされる値は `none`、`gzip`、および `zstd` です。指定しない場合、システムはファイル拡張子からフォーマットを推論します。	none
encoding	string	ソースファイルの文字コードです。デフォルト値は `UTF-8` です。	UTF-8
interval	string	新しいデータをチェックする間隔です。値は持続時間形式（例：15 分の場合は `15m`）で指定します。`never` を設定すると、一度だけインジェストを実行します。	never
pattern	string	インジェスト対象のファイルを指定する正規表現です。このパターンは、指定されたプレフィックス内の完全なオブジェクトキーに対してマッチングされます。	.*
prefix	string	ファイルを検出するために使用されるオブジェクトキープレフィックスです。これにより、バケット内の特定の「フォルダ」にインジェスト範囲が制限されます。	prefix
restoreObjectEnabled	boolean	インジェスト前にアーカイブストレージクラスからオブジェクトを自動的に復元するかどうかを指定します。`true` を設定すると、この機能が有効になります。デフォルトは `false` です。
startTime	integer	データインジェストの時間範囲の開始時刻を UNIX タイムスタンプ（秒単位）で指定します。この時刻以降に変更済みのオブジェクトのみがインジェストされます。	1714274081
endTime	integer	データインジェストの時間範囲の終了時刻を UNIX タイムスタンプ（秒単位）で指定します。この時刻より前に変更済みのオブジェクトのみがインジェストされます。	1714360481
timeField	string	データ内にタイムスタンプを含むフィールドの名前です。このタイムスタンプは、インジェストされたレコードのイベント時間として使用されます。	__time__
timeFormat	string	`timeField` 内のタイムスタンプのフォーマットを Java の `SimpleDateFormat` パターンで指定します。例：`yyyy-MM-dd'T'HH:mm:ss.SSSZ`。	yyyy-MM-dd HH:mm:ss
timePattern	string	構造化された `timeField` が利用できない場合に、ログエントリやファイル名などの非構造化データからタイムスタンプを抽出するための正規表現です。	[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+
timeZone	string	明示的なタイムゾーン情報を持たないタイムスタンプを解析する際のタイムゾーンです。有効なタイムゾーン識別子（例：`UTC` や `America/Los_Angeles`）を指定します。	GMT+08:00
tagPackId	boolean	インジェストされたデータに適用する事前定義タグパックの ID です。タグパックには、データエンリッチメントおよび分類のルールが含まれます。
processorId	string	インジェストされたデータを処理するプロセッサまたはパイプラインの一意の ID です。	ingest-processor-1756802123-953901
accessKeyId	string	GCS サービスとの認証に使用するアクセスキー ID です。このパラメーターは必須です。
accessKeySecret	string	`accessKeyId` に対応するシークレットアクセスキーです。この値は機密情報であり、安全に管理する必要があります。
format	object	ソースデータのフォーマット（CSV、JSON、Parquet など）を定義するネストされたオブジェクトです。
	any	フォーマット固有のプロパティをキーと値のペアとして指定します。たとえば、CSV ファイルの `delimiter` を設定できます。
advancedParameters	object	詳細な構成オプションをキーと値のペアとして指定するためのネストされたオブジェクトです。
	any	追加の詳細パラメーターをキーと値のペアとして指定します。

object

Google Cloud Storage (GCS) データソースからのデータインジェストの構成を指定します。

endpoint

string

GCS のサービスエンドポイントです。非公開または高速接続用にカスタムエンドポイントを使用できます。

oss-cn-hangzhou.aliyuncs.com

bucket

string

ソースデータファイルを含む GCS バケットの名前です。

gcsbucket

compressionCodec

string

ソースファイルの圧縮フォーマットです。サポートされる値は none、gzip、および zstd です。指定しない場合、システムはファイル拡張子からフォーマットを推論します。

none

encoding

string

ソースファイルの文字コードです。デフォルト値は UTF-8 です。

UTF-8

interval

string

新しいデータをチェックする間隔です。値は持続時間形式（例：15 分の場合は 15m）で指定します。never を設定すると、一度だけインジェストを実行します。

never

pattern

string

インジェスト対象のファイルを指定する正規表現です。このパターンは、指定されたプレフィックス内の完全なオブジェクトキーに対してマッチングされます。

.*

prefix

string

ファイルを検出するために使用されるオブジェクトキープレフィックスです。これにより、バケット内の特定の「フォルダ」にインジェスト範囲が制限されます。

prefix

restoreObjectEnabled

boolean

インジェスト前にアーカイブストレージクラスからオブジェクトを自動的に復元するかどうかを指定します。true を設定すると、この機能が有効になります。デフォルトは false です。

startTime

integer

データインジェストの時間範囲の開始時刻を UNIX タイムスタンプ（秒単位）で指定します。この時刻以降に変更済みのオブジェクトのみがインジェストされます。

1714274081

endTime

integer

データインジェストの時間範囲の終了時刻を UNIX タイムスタンプ（秒単位）で指定します。この時刻より前に変更済みのオブジェクトのみがインジェストされます。

1714360481

timeField

string

データ内にタイムスタンプを含むフィールドの名前です。このタイムスタンプは、インジェストされたレコードのイベント時間として使用されます。

__time__

timeFormat

string

timeField 内のタイムスタンプのフォーマットを Java の SimpleDateFormat パターンで指定します。例：yyyy-MM-dd'T'HH:mm:ss.SSSZ。

yyyy-MM-dd HH:mm:ss

timePattern

string

構造化された timeField が利用できない場合に、ログエントリやファイル名などの非構造化データからタイムスタンプを抽出するための正規表現です。

[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+

timeZone

string

明示的なタイムゾーン情報を持たないタイムスタンプを解析する際のタイムゾーンです。有効なタイムゾーン識別子（例：UTC や America/Los_Angeles）を指定します。

GMT+08:00

tagPackId

boolean

インジェストされたデータに適用する事前定義タグパックの ID です。タグパックには、データエンリッチメントおよび分類のルールが含まれます。

processorId

string

インジェストされたデータを処理するプロセッサまたはパイプラインの一意の ID です。

ingest-processor-1756802123-953901

accessKeyId

string

GCS サービスとの認証に使用するアクセスキー ID です。このパラメーターは必須です。

accessKeySecret

string

accessKeyId に対応するシークレットアクセスキーです。この値は機密情報であり、安全に管理する必要があります。

format

object

ソースデータのフォーマット（CSV、JSON、Parquet など）を定義するネストされたオブジェクトです。

any

フォーマット固有のプロパティをキーと値のペアとして指定します。たとえば、CSV ファイルの delimiter を設定できます。

advancedParameters

object

詳細な構成オプションをキーと値のペアとして指定するためのネストされたオブジェクトです。

any

追加の詳細パラメーターをキーと値のペアとして指定します。