OSS にログを転送する際の CSV 形式でのログ保存 - Simple Log Service

Simple Log Service では、転送したログを Object Storage Service (OSS) に CSV 形式で保存できます。OSS 転送タスクを作成する際に、デリミタ、引用符、およびその他の CSV パラメーターを設定できます。

パラメーター設定

OSS シッピングジョブを作成する際に、保存形式を [csv] に設定し、以下のパラメーターを設定します。

次の表にパラメーターを示します。詳細については、「CSV 標準」および「PostgreSQL CSV ドキュメント」をご参照ください。

パラメーター	説明
[CSVキー]	[生ログ] タブでログフィールドを参照し、OSS に転送するフィールドの名前を希望する順序で入力します。 Simple Log Service には、__time__、__topic__、__source__ などの予約済みフィールドも用意されています。予約済みフィールドの詳細については、「予約済みフィールド」をご参照ください。説明 CSVキー設定では、各ログフィールドを 1 回のみ指定します。ログに重複するフィールド名（例：2 つの request_time フィールド）が含まれる場合、Log Service はコンソール上で一方を request_time_0 として表示することがあります。ただし、内部で保存されている実際の名前は request_time のままです。転送ルールを設定する際は、元のフィールド名 request_time を使用してください。フィールド名が重複している場合、システムはランダムにいずれか 1 つの値のみを転送します。結果を確実に予測できるようにするため、フィールド名の重複は避けてください。
[区切りモード]	ログエントリ内のフィールドを区切る文字です。使用できる文字は、コンマ (,)、縦棒 (\|)、スペース、タブです。
[クォート]	フィールドにデリミタが含まれている場合、フィールドを引用符で囲むことで、不正な解析を防ぎます。
[キー値が無効です。]	CSVキーで指定されたフィールドが、生ログに存在しない場合のプレースホルダー値。
[表示キー]	有効にすると、Simple Log Service は CSV ファイルの最初の行 (ヘッダー) としてフィールド名を書き込みます。

OSS オブジェクトの URL

転送されたログを含む OSS オブジェクトの URL 構造は、次のとおりです。

説明

OSS 転送タスクを作成する際にカスタムオブジェクトサフィックスを指定した場合、そのサフィックスが使用されます。
カスタムオブジェクトサフィックスを指定しない場合、サフィックスは圧縮タイプに応じて決まります。

圧縮タイプ	オブジェクトサフィックス	URL 例	説明
非圧縮	`.suffix` などのカスタムオブジェクトサフィックスを指定した場合、オブジェクト名はそのサフィックスで終わります。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix	非圧縮の CSV ファイルをダウンロードし、テキストエディターで開くことができます。
非圧縮	カスタムオブジェクトサフィックスを指定しない場合、オブジェクト名は `.csv` で終わります。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.csv	非圧縮の CSV ファイルをダウンロードし、テキストエディターで開くことができます。
snappy	`.suffix` などのカスタムオブジェクトサフィックスを指定した場合、オブジェクト名はそのサフィックスで終わります。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix	Snappy 圧縮ファイルを開く方法については、「Snappy 圧縮ファイルを開く」をご参照ください。
snappy	カスタムオブジェクトサフィックスを指定しない場合、オブジェクト名は `.snappy.csv` で終わります。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy.csv	Snappy 圧縮ファイルを開く方法については、「Snappy 圧縮ファイルを開く」をご参照ください。
gzip	`.suffix` などのカスタムオブジェクトサフィックスを指定した場合、オブジェクト名はそのサフィックスで終わります。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix	`gzip` コマンドを使用して、Gzip 圧縮ファイルを解凍できます。
gzip	カスタムオブジェクトサフィックスを指定しない場合、オブジェクト名は `.gz.csv` で終わります。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz.csv	`gzip` コマンドを使用して、Gzip 圧縮ファイルを解凍できます。
zstd	`.suffix` などのカスタムオブジェクトサフィックスを指定した場合、オブジェクト名はそのサフィックスで終わります。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix	`zstd` コマンドを使用して、Zstandard 圧縮ファイルを解凍できます。
zstd	カスタムオブジェクトサフィックスを指定しない場合、オブジェクト名は `.zst.csv` で終わります。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst.csv	`zstd` コマンドを使用して、Zstandard 圧縮ファイルを解凍できます。