Application Real-Time Monitoring Service:ARMS 収束ポリシー

Spring アノテーションベースの収束

RESTful API 以外の Web API の場合、リクエスト URL をディメンション値として使用することは可能です。ただし、変数を持つ RESTful API の場合、リクエスト URL を直接記録すると、ディメンションの拡散につながります。したがって、ARMS は Spring Web フレームワークを使用するアプリケーションのディメンション値として、アノテーション（@RequestMapping など）から情報を抽出します。

ロジック

Spring URL のルーティングアノテーションからパス情報を読み取ります。

フォーマット

ルーティングアノテーションで構成された値が使用されます。

サポートされるデータ型

URL: 外部システムにサービスを提供する URL のみがサポートされます。外部 URL はサポートされていません。

場所

ARMS エージェント

サポートされるエージェントバージョン

2.9.1.2 以降

例

次の APIController は、パス変数を使用して、ユーザー情報を取得するための RESTful インターフェースを定義しています。インターフェースパスは、アノテーション @RequestMapping("/api/v1/user/{userId}/info") によって定義され、ユーザー ID を持つリクエストを受信するための URL パターンを指定します。インターフェースからデータを収集する場合、実際の URL は /api/v1/user/{userId}/info であり、{userId} は特定のユーザー ID に置き換えられます。

@RestController
@RequestMapping("/api/v1")
public class APIController {

    @RequestMapping("/user/{userId}/info")
    public String getUserInfo(@PathVariable("userId") String userId) {
        return "hello " + userId;
    }
}

結果:

/api/v1/user/1234/info は /api/v1/user/{userId}/info に収束されます。

メモリ統計ベースの収束

Spring Web フレームワークを使用しないアプリケーション、またはアノテーションが失敗するシナリオでは、メモリ統計に基づく収束が使用されます。

ロジック

1. 定義済みのデリミタ（ "/" や "=" など）を使用して各入力を分割し、単語のセット N を識別します。

2. 単語の各位置について、異なる出現回数をカウントします。これはカーディナリティです。カーディナリティが定義済みのしきい値を超えると、その位置の単語は * に置き換えられます。

フォーマット

* を含む文字列

サポートされるデータ型

すべて

場所

ARMS エージェント

サポートされるエージェントバージョン

2.x、および 2.x 以降 4.x より前のバージョン

例

アプリケーション A は、ユーザー情報を照会するための URL テンプレート /api/v1/user/${userId}/info を提供します。ここで、$userId は特定のユーザー ID を指定します。メモリ統計モジュールは、ユーザー ID の拡散を検出します。これを処理するために、URL を

/api/v1/user/*/info に収束させます。

カスタム収束

このポリシーを使用すると、特定のニーズに合わせてカスタム収束ルールを定義できます。

ロジック

カスタム収束ルールを 1 つずつ照合します。一致したルールが適用されます。

フォーマット

フォーマットは特定の構成によって異なります。

サポートされるデータ型

URL

場所

ARMS エージェント V4.x 以降: エージェント

ARMS エージェント V4.x より前: サーバー

サポートされるエージェントバージョン

すべて

例

カスタムルール: /api/v1/user/[\d]+/info に一致するすべての URL を /api/v1/getUserInfo に収束させます。

/api/v1/user/[\d]+/info 正規表現に一致するすべての URL は、/api/v1/getUserInfo に収束されます。

静的リソースの収束

ARMS エージェントの一部の古いバージョンは、静的リソースに関するメトリックを監視します。URL は頻繁に変更されるため、これらのメトリックの収束はデフォルトで有効になっています。

ロジック

URL のサフィックスがデフォルトの静的リソース拡張子と一致するかどうかを確認します。一致する場合は、URL が収束されます。

デフォルトの静的リソース拡張子: .log .7z .tgz .jpg .jpeg .png .gif .css .js .ico .woff2 .xml .svg .pdf .txt .text .ppt .word .xlsx .tar.gz .tar.bz2 .sh .yml .yaml .zip .log .gz .ttf .woff .eot .rar .properties

フォーマット

デフォルトのフォーマットは {ARMS_STATIC_REQ} です。詳細設定を有効にするためにチケットを送信した場合、フォーマットにはリソースサフィックスが含まれます。

サポートされるデータ型

URL

場所

ARMS エージェント V4.x 以降: エージェント

ARMS エージェント V4.x より前: サーバー

サポートされるエージェントバージョン

すべて

例

デフォルトでは、/api/v1/hello.jpg は {ARMS_STATIC_REQ} に収束されます。詳細設定が有効になっている場合は、{ARMS_S_JPG} に収束されます。

サイバー攻撃リクエストの収束

サービスは、サイバー攻撃リクエスト（/etc/passwd ファイルを読み取ろうとする試みなど）に遭遇する可能性があります。これらのリクエストは攻撃者によって作成され、頻繁に変更されます。すべてを記録すると、ストレージリソースに大きな負担がかかります。

ロジック

URL にサイバー攻撃に悪用される可能性のある文字が含まれているかどうかを確認します。含まれている場合は、URL が収束されます。

デフォルトの文字: ' $ \ ' !

フォーマット

{ARMS_ATTACK_REQ}

サポートされるデータ型

URL

場所

ARMS エージェント V4.x 以降: エージェント

ARMS エージェント V4.x より前: サーバー

サポートされるエージェントバージョン

すべて

例

/app/v1/user/info?cmd='more /etc/passwd' は {ARMS_ATTACK_REQ} に収束されます。

クエリパラメーターの収束

デフォルトでは、ARMS エージェントは URL を収集するときにパラメーター情報を取得しません。ただし、一部のシナリオでは、URL にクエリパラメーターが含まれており、ディメンションの拡散につながる可能性があります。

ロジック

URL にクエリパラメーターが含まれているかどうかを確認します。含まれている場合は、URL が収束されます。

デフォルトのクエリパラメーターデリミタ: ; ? &

フォーマット

デフォルトの結果は {ARMS_PARAMED_REQ} です。詳細設定を有効にするためにチケットを送信した場合、収束結果は URL を保持し、パラメーターを {ARMS_REQ_PARAMS} に置き換えます。

サポートされるデータ型

URL

場所

ARMS エージェント V4.x 以降: エージェント

ARMS エージェント V4.x より前: サーバー

サポートされるエージェントバージョン

すべて

例

デフォルトでは、/api/v1/user/info?userId=12345 は {ARMS_PARAMED_REQ} に収束されます。詳細設定が有効になっている場合は、/api/v1/user/info?{ARMS_REQ_PARAMS} に収束されます。

無意味な単語の収束

長すぎる単語または数字を含む URL は、拡散する可能性があります。デフォルトでは、ARMS は長すぎる単語または数字を置き換えます。

ロジック

スラッシュ（/）で URL を用語の配列に分割し、配列内の各用語をチェックして、指定された長さのしきい値を超える用語があるかどうかを確認します。超える場合は、用語が置き換えられます。

• 単語の最大長: 64

• 数字の最大長: 10

• 単語内の数字の最大長: 10

フォーマット

• 長すぎる数字は {ARMS_NUMBER} に収束されます。

• 長すぎる単語は {ARMS_WORD} に収束されます。

• 単語内の長すぎる数字は {ARMS_ANY} に収束されます。

サポートされるデータ型

URL

場所

ARMS エージェント V4.x 以降: エージェント

ARMS エージェント V4.x より前: サーバー

サポートされるエージェントバージョン

すべて

例

/api/2024040710/hello2024040710 は /api/{ARMS_NUMBER}/{ARMS_ANY} に収束されます。

インテリジェント収束

上記の収束ポリシーを適用した後も、多数の拡散 URL が記録される可能性があります。ARMS は、アルゴリズムを使用して定期的に収束ルールを生成し、これらの URL を置き換えます。

ロジック

ロジックは複雑です。ここでは簡単な説明のみを提供します。

1. アルゴリズムを使用してサンプル URL をグループ化します。

2. 各グループの URL パターンに基づいて URL を収束させ、収束ルールを生成します。

3. 異なるグループの収束ルールをマージします。

フォーマット

• 拡散した純粋な数字は {ARMS_NUMBER} に置き換えられます。

• 拡散した純粋な文字は {ARMS_WORD} に置き換えられます。

• 拡散した数字と文字の混合は {ARMS_ANY} に置き換えられます。

サポートされるデータ型

URL

場所

ARMS エージェント V4.x 以降: エージェント

ARMS エージェント V4.x より前: サーバー

サポートされるエージェントバージョン

すべて

例

/api/product/1/info
/api/product/2/info
....
/api/product/N/info

この例の URL について、サーバーは照合に /api/product/[\d]+/info 正規表現を使用します。

収束結果: /api/product/{ARMS_NUMBER}/info。

正規表現に一致する URL は、/api/product/{ARMS_NUMBER}/info に収束されます。

SQL 正規化

ARMS エージェントは、シャーディング、アノテーション、またはプレーンテキストが原因で、多数の SQL 文を収集する場合があります。デフォルトでは、ARMS は各 SQL 文を処理し、拡散する可能性のある数字または文字を置き換えます。

ロジック

ロジックは複雑です。ここでは簡単な説明のみを提供します。

1. アノテーションを削除します。

2. プレーンテキストを置き換えます。

3. シャーディングされたデータベースまたはテーブルの名前を置き換えます。

...

フォーマット

拡散した数字または文字が置き換えられます。

サポートされるデータ型

SQL

場所

ARMS エージェント

サポートされるエージェントバージョン

4.X 以降

例

select * from cache_0 where ckey='23'

結果:

select * from cache_{NUM} where ckey=?

IP アドレスの収束

アプリケーションが IP アドレスを介してアクセスされる多くの外部サービスに依存している場合、ARMS エージェントは多数の IP アドレスを収集する可能性があり、拡散につながります。

ロジック

1. ポート別に IP アドレスをグループ化します。

2. グループ内の IP アドレスの数が指定されたしきい値（デフォルトは 50）を超えると、収束が適用されます。

フォーマット

{ARMS_IP}:ポート

サポートされるデータ型

IP

場所

ARMS エージェント V4.x 以降: エージェント

ARMS エージェント V4.x より前: サーバー

サポートされるエージェントバージョン

すべて

例

1.1.1.1:8080
...
1.1.1.255:8080

上記の IP アドレスは {ARMS_IP}:8080 に収束されます。

カーディナリティ空間の収束

上記の収束ポリシーは、URL の高いカーディナリティの問題を効果的に解決します。ただし、SQL 文の場合、依然として多数のディメンション値が記録される可能性があります。この問題を解決するために、ARMS は一定期間内に記録されるディメンション値の数を制限します。

ロジック

ロジックは複雑です。ここでは簡単な説明のみを提供します。

1. 固定サイズのカーディナリティ空間を定期的に生成します。

2. ディメンション値がカーディナリティ空間に存在するかどうかを確認します。存在する場合は、値はそのまま返されます。存在しない場合は、値がカーディナリティ空間に追加されます。値を追加できる場合は、そのまま返されます。それ以外の場合は、{ARMS_OTHERS} が返されます。

フォーマット

カーディナリティ空間のしきい値を超えるディメンション値は、{ARMS_OTHERS} に収束されます。

デフォルトのしきい値

サポートされるデータ型

すべて

場所

ARMS エージェント V4.x 以降: エージェント

ARMS エージェント V4.x より前: サーバー

サポートされるエージェントバージョン

すべて

例

カーディナリティ空間のサイズが 1 時間あたり 100 レコードに設定されているとします。外部サービスの IP アドレス:

www.a1.com
www.a2.com
....
www.a1000.com

1 時間あたり最初の 100 個の IP アドレスのみが記録され、後続の IP アドレスは {ARMS_OTHERS} に収束されます。

V4.x より前の ARMS エージェント

エージェント

• URL

  Spring アノテーションベースの収束 > メモリ統計ベースの収束

• SQL

  メモリ統計ベースの収束

• IP アドレスなど

  メモリ統計ベースの収束

サーバー

• URL

  カスタム収束 > サイバー攻撃リクエストの収束 > クエリパラメーターの収束 > 静的リソースの収束 > 無意味な単語の収束 > インテリジェント収束 > カーディナリティ空間の収束

• SQL

  カスタム収束 > カーディナリティ空間の収束

• IP アドレスなど

  カスタム収束 > IP アドレスの収束 > カーディナリティ空間の収束

ARMS エージェント V4.x 以降