CSV 形式のストレージフィールドを設定
設定ページ
Log Service データプレビューページまたはインデックスクエリページには、ログの複数のキーと値のペアを表示されます。OSS に送信するフィールド名 (キー) を順番に入力します。
ログに指定したキーがない場合、そのカラムは NULL になります。
図 1. 設定項目
設定項目
| 設定項目 | 値 | 備考 |
|---|---|---|
| 区切り文字 | 文字 | 各フィールドを区切るための 1 文字 (String 型)。 |
| 引用符 | 文字 | 1 文字 (String 型)。フィールド値に区切り文字または改行が含まれる場合、フィールド値を引用符で囲み、データ読み取り時にフィールド値が不適切に分割されないようにします。 |
| エスケープ | 文字 | 1 文字 (String 型)。初期値は引用符に指定した値です。現時点では、設定不可。フィールド値に引用符 (エスケープ文字としてではなく、通常の文字として使用) を含む場合、その引用符の前にエスケープ文字を追加する必要があります。 |
| 無効なキー値 | 文字列 | 指定されたキーに値がない場合、フィールドには本項目で指定した文字列が入り、フィールド値は NULL とみなされます。 |
| キーヘッダーの表示 | Boolean | CSV ファイルの最初の行にフィールド名を追加するかどうかを指定します。 |
詳細については、CSV 標準 (英文) およびPostgreSQL CSV の説明 (英文) をご参照ください。
設定可能な予約フィールド
ログのキーと値のペアのほか、Log Service は OSS にログを転送する際に下表の予約フィールドをオプションで設定できます。
| 予約フィールド | 説明 |
|---|---|
__time__ |
ログの UNIX タイムスタンプ (1970-01-01 からの秒数)。 ログの時間フィールドを基に算出されます。 |
__topic__ |
ログトピック |
__source__ |
ソースログクライアントの IP アドレス |
上記フィールドは、JSON ストレージにはデフォルトで含まれます。
必要に応じて、CSV ストレージに含めるフィールドを選択します。たとえば、ログトピックが必要な場合は、フィールド名を__topic__と指定します。
OSS ストレージアドレス
| 圧縮タイプ | ファイル拡張子 | OSS ファイルのアドレス例 |
|---|---|---|
| 非圧縮 | .csv | oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.csv |
| snappy | .snappy.csv | oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.snappy.csv |
データを活用
HybridDB
次の設定にすることをお勧めします。
- デリミタ: コンマ (,)
- 引用: 二重引用符 (")
- 無効なキー値: 空
- 表示キー: 選択されていません（HybridDB の場合、CSV ファイルの先頭行にフィールド名はありません）
詳細は、HybridDB のドキュメントをご参照ください。
CSV は読むことの可能な形式です。CSV 形式のファイルは、OSS から直接ダウンロードしてテキスト形式で表示させることができます。
snappy 方式で圧縮されている場合は、「JSON ストレージ」に記載されている snappy の解凍方法をご参照ください。