Ingest processor を使用すると、ログがログストアに書き込まれる前に前処理できます。 Ingest processor を使用して、データのフィルタリング、フィールドの抽出、フィールドの拡張、およびデータのマスキングを行うことができます。
仕組み
Logtail、Simple Log Service SDK、または Web トラッキング を使用してログデータを収集する場合、データはまず ingest processor によって処理され、その後ログストアに書き込まれます。 データ処理は Simple Log Service 内で完了し、クライアント リソースを消費しません。
シナリオ
フィールドの抽出: 正規表現、Key-Value 形式、JSON などの解析方法を使用して、生のログフィールドから新しいフィールドを抽出します。
フィールドの拡張: 生ログに新しいフィールドを追加します。
フィールドの削除: 生ログから特定のフィールドを削除します。
データのマスキング: 生ログの機密情報をマスキングします。
データのフィルタリング: 生ログから特定のデータを破棄します。
制限
インジェストプロセッサーの数や SPL 文の長さなどのクォータ制限については、「インジェストプロセッサー」をご参照ください。
課金
Ingest processor は、データ処理中に消費される計算リソースの量に基づいて課金されます。 課金単位は OCU です。
Observability Capacity Units (OCU) は、Alibaba Cloud Cloud Native Observability Platform で使用される新しい課金単位です。 OCU の数は、1 時間あたりのリソース使用量に基づいて自動的に計算されます。
Alibaba Cloud は、Simple Log Service の計算負荷の高い機能に対して従量課金を段階的に実装する予定です。 課金単位は OCU で、計算リソースの実際の使用量を測定します。 1 OCU は、0.5 CPU コア、2 GB のメモリ、または 3,000 IOPS の料金を相殺するために使用できます。 料金計算中、システムは消費されたコア数、消費されたメモリサイズ、および IOPS 消費量に基づいて OCU の数を計算します。 次に、システムは課金のために最大の値を使用します。
たとえば、計算ジョブで 1 コア、2 GB のメモリ、3,000 IOPS が消費されるとします。 この例では、2 OCU が消費されます。 1 時間の課金サイクルでは、ingest processor が 1 GB のデータを処理するときに OCU の約 3 分の 1 が消費されます。 次に、新しいバージョンのデータ変換が 1 GB のデータを処理するときに、OCU の約 3 分の 1 が消費されます。 ルールベースのデータ消費が 1 GB のデータを処理するときには、約 0.3 OCU が消費されます。
OCU の課金情報については、「摂取データごとの支払い課金項目」および「機能ごとの支払い課金項目」をご参照ください。