インジェストプロセッサーは、Logstore に書き込まれる前にログデータを処理します。インジェストプロセッサーを使用して、データのフィルタリング、フィールドの抽出または追加、機密情報のマスキングを行います。
仕組み
-
Logtail、Simple Log Service SDK、または Web トラッキング を通じて収集されたログデータは、Logstore に書き込まれる前にインジェストプロセッサーを通過します。処理は Simple Log Service (SLS) 内で実行され、クライアント側のリソースは消費されません。
ユースケース
-
フィールド抽出:正規表現、キーと値のペア、または JSON パースを使用して、生ログからフィールドを抽出します。
-
フィールド拡張:生ログに新しいフィールドを追加します。
-
フィールド削除:生ログから特定のフィールドを削除します。
-
データマスキング:生ログの機密情報をマスキングします。
-
データフィルタリング:不要なログエントリを破棄します。
制限事項
|
項目 |
制限 |
|
プロジェクトあたりのインジェストプロセッサー数 |
プロジェクトあたり最大 100 個。 |
|
SPL ステートメントの長さ |
SPL ステートメントあたり最大 4,000 文字。 |
|
サポートされる SPL コマンド |
行レベルのコマンドのみ。集計および条件付きロジックはサポートされていません。 |
|
Logstore あたりのインジェストプロセッサー数 |
|
|
変更が有効になるまでの時間 |
設定変更、削除、または Logstore の関連付けの更新は 1 分以内に有効になります。 |
課金
インジェストプロセッサーは、データ処理中に消費されるコンピューティングリソースに基づいて課金されます。課金単位は OCU です。
可観測性キャパシティーユニット (OCU) は、Alibaba Cloud-native Observability によって導入された新しい課金単位です。OCU の使用量は、1 時間ごとのリソース消費量に基づいて自動的に計算されます。
SLS のコンピューティング最適化機能の課金は、実際のコンピューティングリソース消費量に基づいて課金される OCU ベースのモデルに移行しつつあります。CPU のシナリオでは、1 OCU は約 0.5 CPU コア、2 GB のメモリ、3,000 IOPS に相当します。SLS は、CPU コア、メモリ、IOPS の消費量に基づいて個別の OCU 値を計算します。これら 3 つの値のうち最も高い値が、課金対象の最終的な OCU 数を決定します。
コンピューティングジョブが 1 CPU コア、2 GB のメモリ、3,000 IOPS を消費するとします。このジョブは 2 OCU を消費します。1 時間の測定期間中、平均 OCU 消費量は次のように推定できます:インジェストプロセッサーで 1 GB のデータを処理すると約 1/3 OCU を消費し、データ変換 (新バージョン) で 1 GB のデータを処理すると約 1/3 OCU を消費し、ルールベースの消費で 1 GB のデータを処理すると約 0.3 OCU を消費します。
OCU の価格情報については、「データインジェスト量課金モードの課金項目」と「機能別課金モデルの課金項目」をご参照ください。