ROS による SLS ログの OSS へのアーカイブ化の自動化 - ROS

ALIYUN::SLS::OssExport は、Object Storage Service (OSS) データ転送ジョブを作成して Simple Log Service (SLS) データを管理し、ログストアデータを OSS に転送して保存するために使用されます。

構文

{
  "Type": "ALIYUN::SLS::OssExport",
  "Properties": {
    "Configuration": マップ,
    "DisplayName": 文字列,
    "ExportName": エクスポート名,
    "ProjectName": プロジェクト名,
    "Description": 説明
  }
}

プロパティ

プロパティ	タイプ	必須	編集可能	説明	制約
Configuration	Map	はい	はい	タスクの構成。	詳細については、この Topic の「構成プロパティ」セクションをご参照ください。
DisplayName	String	はい	はい	タスクの表示名。	なし。
ExportName	String	はい	いいえ	タスク名。	名前には、小文字、数字、半角ダッシュ (‒)、およびアンダースコア (_) のみを含めることができます。長さは 2 ～ 64 文字で、小文字または数字で開始および終了する必要があります。
ProjectName	String	はい	いいえ	SLS プロジェクトの名前。	なし。
Description	String	いいえ	はい	タスクの説明。	説明は最大 256 文字まで入力できます。

構文

"Configuration": {
  "ToTime": 整数,
  "Sink": マップ,
  "Logstore": 文字列,
  "FromTime": 整数,
  "RoleArn": 文字列
}

プロパティ

プロパティ	種類	必須	編集可能	説明	制約
ログストア	文字列	はい	はい	プロジェクト内のログストアの名前。	なし。
ロール ARN	文字列	はい	はい	ロールのAlibaba Cloud Resource Name（ARN）。このプロパティを使用して、OSS データへの書き込み権限と Logstore データへの読み取り権限を制御できます。	例: acs:ram::13234:role/aliyunlogdefaultrole。
シンク	マップ	はい	はい	OSS 配信構成。	なし。
開始時刻	整数	いいえ	はい	ジョブの開始時刻です。	なし。
終了時刻	整数	いいえ	はい	ジョブの終了時間です。	なし。

構成構文

"Sink": {
  "BufferInterval": Integer,
  "ContentType": String,
  "ContentDetail": Map,
  "PathFormat": String,
  "Prefix": String,
  "PathFormatType": String,
  "RoleArn": String,
  "BufferSize": Integer,
  "TimeZone": String,
  "Suffix": String,
  "Endpoint": String,
  "DelaySeconds": Integer,
  "Bucket": String,
  "CompressionType": String
}

シンクのプロパティ

プロパティ	タイプ	必須	編集可能	説明	制約
BufferInterval	Integer	はい	はい	最大送信間隔。	有効な値：300 ～ 900。単位：秒。
BufferSize	Integer	はい	はい	送信するデータのサイズ。	このプロパティの値によって、OSS オブジェクトに送信および保存できる生ログデータの最大サイズが決まります。単位：MB。送信するログデータのサイズがこのプロパティの値に達すると、データ送信ジョブが自動的に作成されます。
Bucket	String	はい	はい	OSS バケットの名前。	なし。
ContentType	String	はい	はい	OSS に送信されるデータの保存形式。	有効な値： json parquet csv orc 分析しやすいように、Parquet 形式でデータを保存できます。Parquet 保存形式は、CSV または JSON 保存形式よりも高いスキャン効率を提供しますが、料金が高くなります。ビジネス要件に基づいて保存形式を選択できます。
RoleArn	String	はい	はい	ロールの ARN。このプロパティを使用して、OSS データへの書き込み権限と Logstore データへの読み取り権限を制御できます。	例：acs:ram::13234:role/aliyunlogdefaultrole。
ContentDetail	Map	いいえ	はい	コンテンツの詳細。	ContentType を json に設定した場合、ContentDetail のデフォルト値は {"EnableTag": false} です。
CompressionType	String	いいえ	はい	OSS データの圧縮方式。	有効な値： none snappy gzip zstd none の値は、生データが圧縮されないことを指定します。snappy、gzip、または zstd の値は、指定されたアルゴリズムを使用してデータを圧縮することを指定します。これにより、OSS バケットのストレージ使用量が削減されます。圧縮方式は、保存形式によって異なります。
DelaySeconds	Integer	いいえ	はい	送信の待機時間。	データが送信されるまでの期間。有効な値：900 ～ 63244800。単位：秒。このプロパティの値は、Logstore データの保存期間を超えることはできません。送信の待機時間には数日間のバッファ期間を指定することをお勧めします。そうしないと、データが失われる可能性があります。
Endpoint	String	いいえ	はい	OSS バケットのエンドポイント。	なし。
PathFormat	String	いいえ	はい	サブディレクトリの生成に使用されるパーティション形式。	サブディレクトリは、BufferInterval の値に基づいて動的に生成されます。デフォルトのパーティション形式は %Y/%m/%d/%H/%M です。例：2017/01/23/12/00。パーティション形式はスラッシュ (/) で始めることはできません。Hive や Impala などの E-MapReduce (EMR) コンピュートエンジンと統合してデータのクエリと分析を行う方法の詳細については、「OSS データ送信ジョブの作成 (新バージョン)」をご参照ください。
Prefix	String	いいえ	はい	OSS オブジェクト名のプレフィックス。	なし。
PathFormatType	String	いいえ	はい	パーティション形式のタイプ。	値を time に設定します。
Suffix	String	いいえ	はい	OSS オブジェクト名のサフィックス。	なし。
TimeZone	String	いいえ	はい	タイムゾーン。	パーティションパスは、タイムゾーンによって異なります。有効な値：-1200 ～ +1400。例：+0800。

戻り値

Fn::GetAtt

ProjectName: SLS プロジェクトの名前。
ExportName: タスク名。

構成プロパティ

YAML 形式

ROSTemplateFormatVersion: '2015-09-01'
Parameters:
  Configuration:
    AssociationPropertyMetadata:
      Parameters:
        ToTime:
          Type: Number
          Description:
            ja: 時間範囲の終了時刻。
          Required: false
          Default: 0
        Sink:
          AssociationPropertyMetadata:
            Parameters:
              BufferInterval:
                Type: Number
                Description:
                  ja: '送信間隔。データが送信される最大間隔。有効値: 300 ～ 900。単位: 秒。'
                Required: true
                MinValue: 300
                MaxValue: 900
              ContentType:
                Type: String
                Description:
                  ja: ストレージ形式。データ分析のためにデータを Parquet 形式で保存できます。CSV または JSON 形式で保存されたデータと比較して、Parquet 形式で保存されたデータはより高い効率でスキャンできます。CSV または JSON 形式よりも Parquet 形式でデータを送信する場合、より多くの料金が発生します。ビジネス要件に基づいて、データ送信のストレージ形式を選択してください。
                AllowedValues:
                  - json
                  - parquet
                  - csv
                  - orc
                Required: true
              ContentDetail:
                Type: Json
                Description:
                  ja: 'コンテンツの詳細。ContentType = json の場合、デフォルト値は {"EnableTag": false} です。'
                Required: false
              PathFormat:
                Type: String
                Description:
                  ja: 'パーティション形式は、サブディレクトリの生成に使用されます。サブディレクトリは、送信時間に基づいて動的に生成されます。デフォルトのパーティション形式は %Y/%m/%d/%H/%M です。例: 2017/01/23/12/00。パーティション形式はスラッシュ (/) で始めることはできません。E-MapReduce の Hive や Impala などのコンピュートエンジンと統合してデータのクエリと分析を行う方法の詳細については、'
                Required: false
                Default: '%Y/%m/%d/%H/%M'
              Prefix:
                Type: String
                Description:
                  ja: OSS オブジェクト名のプレフィックス。
                Required: false
              PathFormatType:
                Type: String
                Description:
                  ja: パーティション形式のタイプ。time のみをサポートします。
                AllowedValues:
                  - time
                Required: false
                Default: time
              RoleArn:
                Type: String
                Description:
                  ja: 'OSS へのデータの書き込みとログストアでのデータの読み取りの権限を制御するために使用されます。例: acs:ram::13234:role/aliyunlogdefaultrole。'
                Required: true
              BufferSize:
                Type: Number
                Description:
                  ja: '送信サイズ。このパラメーターの値は、送信されてオブジェクトに保存される生ログデータの最大サイズを決定します。単位: MB。送信するログデータのサイズが指定された値に達すると、送信ジョブが自動的に作成されます。'
                Required: true
                MinValue: 5
                MaxValue: 256
              TimeZone:
                Type: String
                Description:
                  ja: タイムゾーン。パーティションパスはタイムゾーンによって異なります。値は -1200 ～ +1400 である必要があります。たとえば、+0800 です。
                Required: false
              Suffix:
                Type: String
                Description:
                  ja: OSS オブジェクト名のサフィックス。
                Required: false
              Endpoint:
                Type: String
                Description:
                  ja: OSS バケットのエンドポイント。
                Required: false
              DelaySeconds:
                Type: Number
                Description:
                  ja: |-
                    送信レイテンシ。データが送信されるまでの時間。有効値: 900 ～ 63244800。単位: 秒。
                    注: ログストアのデータ保持期間を超えるレイテンシを指定しないでください。レイテンシのために数日間のバッファ期間を確保することをお勧めします。そうしないと、データが失われる可能性があります。
                Required: false
                MinValue: 900
                MaxValue: 63244800
              Bucket:
                Type: String
                Description:
                  ja: OSS バケットの名前。
                Required: true
              CompressionType:
                Type: String
                Description:
                  ja: 'OSS データの圧縮方式。有効値: none、snappy、gzip、zstd。値 none は、生データが圧縮されないことを示します。値 snappy、gzip、または zstd は、指定されたアルゴリズムを使用してデータを圧縮することを示します。これにより、OSS バケットのストレージ容量の使用量を削減できます。圧縮方式は、ストレージ形式によって異なります。'
                AllowedValues:
                  - none
                  - snappy
                  - gzip
                  - zstd
                Required: false
          Type: Json
          Description:
            ja: シンク名。
          Required: true
        Logstore:
          Type: String
          Description:
            ja: プロジェクトのログストア名。
          Required: true
        FromTime:
          Type: Number
          Description:
            ja: 時間範囲の開始時刻。
          Required: false
          Default: 0
        RoleArn:
          Type: String
          Description:
            ja: 'OSS へのデータの書き込みとログストアでのデータの読み取りの権限を制御するために使用されます。例: acs:ram::13234:role/aliyunlogdefaultrole。'
          Required: true
    Type: Json
    Description:
      ja: エクスポートジョブの構成。
    Required: true
  ProjectName:
    Type: String
    Description:
      ja: SLS のプロジェクト名。
    Required: true
    AllowedPattern: ^[a-zA-Z0-9_-]+$
    MinLength: 3
    MaxLength: 63
  DisplayName:
    Type: String
    Description:
      ja: エクスポートジョブの表示名。4 ～ 100 文字である必要があります。
    Required: true
    MinLength: 4
    MaxLength: 100
  ExportName:
    Type: String
    Description:
      ja: エクスポートジョブの名前。この値は一意である必要があります。2 ～ 64 文字で、小文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。小文字または数字で開始および終了する必要があります。
    Required: true
    AllowedPattern: ^[a-zA-Z0-9_-]+$
    MinLength: 2
    MaxLength: 64
Resources:
  OssExport:
    Type: ALIYUN::SLS::OssExport
    Properties:
      Configuration:
        Ref: Configuration
      ProjectName:
        Ref: ProjectName
      DisplayName:
        Ref: DisplayName
      ExportName:
        Ref: ExportName
Outputs:
  ProjectName:
    Description: SLS のプロジェクト名。
    Value:
      Fn::GetAtt:
        - OssExport
        - ProjectName
  ExportName:
    Description: エクスポートジョブの名前。
    Value:
      Fn::GetAtt:
        - OssExport
        - ExportName

JSON 形式

{
  "ROSTemplateFormatVersion": "2015-09-01",
  "Parameters": {
    "Configuration": {
      "AssociationPropertyMetadata": {
        "Parameters": {
          "ToTime": {
            "Type": "Number",
            "Description": {
              "ja": "時間範囲の終了時刻。"
            },
            "Required": false,
            "Default": 0
          },
          "Sink": {
            "AssociationPropertyMetadata": {
              "Parameters": {
                "BufferInterval": {
                  "Type": "Number",
                  "Description": {
                    "ja": "送信間隔。データが送信される最大間隔。有効値: 300 ～ 900。単位: 秒。"
                  },
                  "Required": true,
                  "MinValue": 300,
                  "MaxValue": 900
                },
                "ContentType": {
                  "Type": "String",
                  "Description": {
                    "ja": "ストレージ形式。データ分析のためにデータを Parquet 形式で保存できます。CSV または JSON 形式で保存されたデータと比較して、Parquet 形式で保存されたデータはより高い効率でスキャンできます。CSV または JSON 形式よりも Parquet 形式でデータを送信する場合、より多くの料金が発生します。ビジネス要件に基づいて、データ送信のストレージ形式を選択してください。"
                  },
                  "AllowedValues": [
                    "json",
                    "parquet",
                    "csv",
                    "orc"
                  ],
                  "Required": true
                },
                "ContentDetail": {
                  "Type": "Json",
                  "Description": {
                    "ja": "コンテンツの詳細。ContentType = json の場合、デフォルト値は {\"EnableTag\": false} です。"
                  },
                  "Required": false
                },
                "PathFormat": {
                  "Type": "String",
                  "Description": {
                    "ja": "パーティション形式は、サブディレクトリの生成に使用されます。サブディレクトリは、送信時間に基づいて動的に生成されます。デフォルトのパーティション形式は %Y/%m/%d/%H/%M です。例: 2017/01/23/12/00。パーティション形式はスラッシュ (/) で始めることはできません。E-MapReduce の Hive や Impala などのコンピュートエンジンと統合してデータのクエリと分析を行う方法の詳細については、"
                  },
                  "Required": false,
                  "Default": "%Y/%m/%d/%H/%M"
                },
                "Prefix": {
                  "Type": "String",
                  "Description": {
                    "ja": "OSS オブジェクト名のプレフィックス。"
                  },
                  "Required": false
                },
                "PathFormatType": {
                  "Type": "String",
                  "Description": {
                    "ja": "パーティション形式のタイプ。time のみをサポートします。"
                  },
                  "AllowedValues": [
                    "time"
                  ],
                  "Required": false,
                  "Default": "time"
                },
                "RoleArn": {
                  "Type": "String",
                  "Description": {
                    "ja": "OSS へのデータの書き込みとログストアでのデータの読み取りの権限を制御するために使用されます。例: acs:ram::13234:role/aliyunlogdefaultrole。"
                  },
                  "Required": true
                },
                "BufferSize": {
                  "Type": "Number",
                  "Description": {
                    "ja": "送信サイズ。このパラメーターの値は、送信されてオブジェクトに保存される生ログデータの最大サイズを決定します。単位: MB。送信するログデータのサイズが指定された値に達すると、送信ジョブが自動的に作成されます。"
                  },
                  "Required": true,
                  "MinValue": 5,
                  "MaxValue": 256
                },
                "TimeZone": {
                  "Type": "String",
                  "Description": {
                    "ja": "タイムゾーン。パーティションパスはタイムゾーンによって異なります。値は -1200 ～ +1400 である必要があります。たとえば、+0800 です。"
                  },
                  "Required": false
                },
                "Suffix": {
                  "Type": "String",
                  "Description": {
                    "ja": "OSS オブジェクト名のサフィックス。"
                  },
                  "Required": false
                },
                "Endpoint": {
                  "Type": "String",
                  "Description": {
                    "ja": "OSS バケットのエンドポイント。"
                  },
                  "Required": false
                },
                "DelaySeconds": {
                  "Type": "Number",
                  "Description": {
                    "ja": "送信レイテンシ。データが送信されるまでの時間。有効値: 900 ～ 63244800。単位: 秒。\n注: ログストアのデータ保持期間を超えるレイテンシを指定しないでください。レイテンシのために数日間のバッファ期間を確保することをお勧めします。そうしないと、データが失われる可能性があります。"
                  },
                  "Required": false,
                  "MinValue": 900,
                  "MaxValue": 63244800
                },
                "Bucket": {
                  "Type": "String",
                  "Description": {
                    "ja": "OSS バケットの名前。"
                  },
                  "Required": true
                },
                "CompressionType": {
                  "Type": "String",
                  "Description": {
                    "ja": "OSS データの圧縮方式。有効値: none、snappy、gzip、zstd。値 none は、生データが圧縮されないことを示します。値 snappy、gzip、または zstd は、指定されたアルゴリズムを使用してデータを圧縮することを示します。これにより、OSS バケットのストレージ容量の使用量を削減できます。圧縮方式は、ストレージ形式によって異なります。"
                  },
                  "AllowedValues": [
                    "none",
                    "snappy",
                    "gzip",
                    "zstd"
                  ],
                  "Required": false
                }
              }
            },
            "Type": "Json",
            "Description": {
              "ja": "シンク名。"
            },
            "Required": true
          },
          "Logstore": {
            "Type": "String",
            "Description": {
              "ja": "プロジェクトのログストア名。"
            },
            "Required": true
          },
          "FromTime": {
            "Type": "Number",
            "Description": {
              "ja": "時間範囲の開始時刻。"
            },
            "Required": false,
            "Default": 0
          },
          "RoleArn": {
            "Type": "String",
            "Description": {
              "ja": "OSS へのデータの書き込みとログストアでのデータの読み取りの権限を制御するために使用されます。例: acs:ram::13234:role/aliyunlogdefaultrole。"
            },
            "Required": true
          }
        }
      },
      "Type": "Json",
      "Description": {
        "ja": "エクスポートジョブの構成。"
      },
      "Required": true
    },
    "ProjectName": {
      "Type": "String",
      "Description": {
        "ja": "SLS のプロジェクト名。"
      },
      "Required": true,
      "AllowedPattern": "^[a-zA-Z0-9_-]+$",
      "MinLength": 3,
      "MaxLength": 63
    },
    "DisplayName": {
      "Type": "String",
      "Description": {
        "ja": "エクスポートジョブの表示名。4 ～ 100 文字である必要があります。"
      },
      "Required": true,
      "MinLength": 4,
      "MaxLength": 100
    },
    "ExportName": {
      "Type": "String",
      "Description": {
        "ja": "エクスポートジョブの名前。この値は一意である必要があります。2 ～ 64 文字で、小文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。小文字または数字で開始および終了する必要があります。"
      },
      "Required": true,
      "AllowedPattern": "^[a-zA-Z0-9_-]+$",
      "MinLength": 2,
      "MaxLength": 64
    }
  },
  "Resources": {
    "OssExport": {
      "Type": "ALIYUN::SLS::OssExport",
      "Properties": {
        "Configuration": {
          "Ref": "Configuration"
        },
        "ProjectName": {
          "Ref": "ProjectName"
        },
        "DisplayName": {
          "Ref": "DisplayName"
        },
        "ExportName": {
          "Ref": "ExportName"
        }
      }
    }
  },
  "Outputs": {
    "ProjectName": {
      "Description": "SLS のプロジェクト名。",
      "Value": {
        "Fn::GetAtt": [
          "OssExport",
          "ProjectName"
        ]
      }
    },
    "ExportName": {
      "Description": "エクスポートジョブの名前。",
      "Value": {
        "Fn::GetAtt": [
          "OssExport",
          "ExportName"
        ]
      }
    }
  }
}