取り込みプロセッサーは、ログが Logstore に書き込まれる前に前処理を行います。取り込みプロセッサーを使用して、データのフィルタリング、フィールドの抽出、フィールドの拡張、データのマスキングを行うことができます。
仕組み
利用シーン
フィールド抽出：正規表現、Key-Value フォーマット、JSON などの解析メソッドを使用して、生ログから新しいフィールドを抽出します。
フィールド拡張：生ログに新しいフィールドを追加します。
フィールド削除：生ログから特定のフィールドを削除します。
データマスキング：生ログ内の機密情報をマスキングします。
データフィルタリング：生ログから特定のデータを破棄します。
制限事項
制限 | 説明 |
取り込みプロセッサーの数 | 各プロジェクトは最大 100 個の取り込みプロセッサーをサポートします。 |
取り込みプロセッサー構成における SPL 文の長さ | 各 SPL 文の長さは最大 4,000 文字です。 |
取り込みプロセッサーにおける SPL 命令の制限 | 行処理命令のみがサポートされています。集約や論理判断などの命令はサポートされていません。 |
各 Logstore に関連付けられる取り込みプロセッサーの数 |
|
取り込みプロセッサーの更新または削除後の有効化時間 | 取り込みプロセッサーの構成や、Logstore と取り込みプロセッサーの関連付けの変更は、1 分以内に有効になります。 |
課金
取り込みプロセッサーは、データ処理中に消費される計算リソースの量に基づいて課金されます。課金単位は Observability Capacity Unit (OCU) です。
OCU は、Alibaba Cloud-native Observability の新しい課金単位です。OCU の使用量は、1 時間ごとのリソース消費量に基づいて自動的に計算されます。
SLS のコンピューティング最適化機能の課金は、実際に消費された計算リソースに基づいて課金される OCU ベースのモデルに徐々に移行しています。CPU シナリオでは、1 OCU は約 0.5 CPU コア、2 GB のメモリ、および 3,000 IOPS に相当します。OCU の総数を計算するために、SLS は消費された CPU コア、メモリ、および IOPS に基づいて 3 つの個別の OCU 数を決定します。これら 3 つの値のうち最も高いものが、課金のための最終的な OCU 値として使用されます。
例えば、ある計算ジョブが 1 CPU コア、2 GB のメモリ、3,000 IOPS を消費するとします。この場合、ジョブは 2 OCU を消費します。1 時間の課金サイクルにおいて、取り込みプロセッサーは 1 GB のデータを処理するために約 1/3 OCU を消費します。新しいバージョンのデータ変換は、1 GB のデータを処理するために約 1/3 OCU を消費します。ルールベースの消費では、1 GB のデータを処理するために約 0.3 OCU を消費します。
OCU の課金情報については、「取り込みデータ量に応じた課金項目の支払い」および「機能単位の課金モデルにおける課金項目」をご参照ください。