Logstore に書き込む前に、データフィルタリング、フィールド抽出、フィールド拡張、データマスキングなどのログデータ処理が必要な場合は、インジェストプロセッサを使用できます。
仕組み
ユースケース
-
フィールド抽出：正規表現、キーと値、JSON などの解析メソッドを使用して、生ログフィールドから新しいフィールドを抽出します。
-
フィールド拡張：生ログに新しいフィールドを追加します。
-
フィールド削除：生ログから特定のフィールドを削除します。
-
データマスキング：生ログ内の機密情報をマスキングします。
-
データフィルタリング：不要なログエントリを破棄します。
制限事項
|
制限 |
説明 |
|
インジェストプロセッサの数 |
各 Project につき、最大 100 個のインジェストプロセッサを作成できます。 |
|
インジェストプロセッサ構成における SPL 文の長さ |
各 SPL 文は 4,000 文字を超えることはできません。 |
|
インジェストプロセッサにおける SPL コマンドの制限 |
行レベルの処理コマンドのみがサポートされています。集計コマンドおよび条件付きロジックコマンドはサポートされていません。 |
|
Logstore に関連付けられるインジェストプロセッサの数 |
|
|
変更が有効になるまでの時間 |
インジェストプロセッサ構成の変更、インジェストプロセッサの削除、または Logstore の関連付けの変更は、1 分以内に有効になります。 |
課金
インジェストプロセッサは、データ処理中に消費された計算リソースに基づいて OCU 単位で課金されます。
Observability Capacity Unit (OCU) は、Alibaba Cloud ネイティブオブザーバビリティの新しい課金単位です。OCU の使用量は、1 時間ごとのリソース消費量に基づいて自動的に計算されます。
SLS のコンピューティング最適化機能の課金は、実際に消費された計算リソースに基づいて課金される OCU ベースのモデルに徐々に移行しています。CPU シナリオでは、1 OCU は約 0.5 CPU コア、2 GB のメモリ、および 3,000 IOPS (1 秒あたりの入出力操作数) に相当します。OCU の総数を計算するために、SLS は消費された CPU コア、メモリ、および IOPS に基づいて 3 つの個別の OCU 数を決定します。これら 3 つの値のうち最も高いものが、課金の最終的な OCU 値として使用されます。
たとえば、ある計算ジョブが 1 CPU コア、2 GB のメモリ、および 3,000 IOPS を消費する場合、そのジョブは 2 OCU を消費します。1 時間の課金サイクルでは、インジェストプロセッサは 1 GB のデータを処理するために約 1/3 OCU を消費します。新しいバージョンのデータ変換は、1 GB のデータを処理するために約 1/3 OCU を消費します。ルールベースの消費では、1 GB のデータを処理するために約 0.3 OCU を消費します。
OCU 課金の詳細については、「取り込みデータ量課金モードの課金項目」および「機能別課金モデルの課金項目」をご参照ください。