Application Real-Time Monitoring Service:Kebijakan konvergensi ARMS

Konvergensi berbasis anotasi Spring

Untuk API RESTful dengan variabel path, penggunaan URL permintaan mentah sebagai nilai dimensi menyebabkan divergensi. ARMS membaca informasi path dari anotasi routing Spring (seperti @RequestMapping) dan menggunakan path yang didefinisikan dalam anotasi tersebut sebagai nilai dimensi.

Contoh

APIController berikut mendefinisikan endpoint RESTful yang mengambil informasi pengguna menggunakan variabel path. Anotasi @RequestMapping("/api/v1/user/{userId}/info") menentukan pola URL.

@RestController
@RequestMapping("/api/v1")
public class APIController {

    @RequestMapping("/user/{userId}/info")
    public String getUserInfo(@PathVariable("userId") String userId) {
        return "hello " + userId;
    }
}

Hasil: /api/v1/user/1234/info dikonvergensikan menjadi /api/v1/user/{userId}/info.

Konvergensi berbasis statistik memori

Untuk aplikasi yang tidak menggunakan framework Spring Web atau ketika konvergensi berbasis anotasi gagal, ARMS menggunakan konvergensi berbasis statistik memori sebagai cadangan.

Contoh

Aplikasi menyediakan templat URL /api/v1/user/${userId}/info. Modul statistik memori mendeteksi divergensi pada ID pengguna dan mengonvergensikan URL tersebut menjadi /api/v1/user/*/info.

Konvergensi kustom

Tentukan aturan konvergensi kustom untuk mencocokkan URL dengan ekspresi reguler dan menggantinya dengan target yang ditentukan.

Contoh

Aturan kustom: konvergensikan semua URL yang cocok dengan /api/v1/user/[\d]+/info menjadi /api/v1/getUserInfo.

Hasil: semua URL yang cocok dengan ekspresi reguler /api/v1/user/[\d]+/info dikonvergensikan menjadi /api/v1/getUserInfo.

Konvergensi resource statis

Beberapa versi lama agen ARMS memantau metrik untuk resource statis. Karena URL resource statis sering berubah, konvergensi untuk metrik ini diaktifkan secara default.

Ekstensi resource statis default:

.log .7z .tgz .jpg .jpeg .png .gif .css .js .ico .woff2 .xml .svg .pdf .txt .text .ppt .word .xlsx .tar.gz .tar.bz2 .sh .yml .yaml .zip .gz .ttf .woff .eot .rar .properties

Contoh

Secara default, /api/v1/hello.jpg dikonvergensikan menjadi {ARMS_STATIC_REQ}. Dengan Konfigurasi Lanjutan diaktifkan, URL tersebut dikonvergensikan menjadi {ARMS_S_JPG}.

Konvergensi permintaan serangan siber

Layanan dapat menerima permintaan serangan siber (seperti upaya membaca file /etc/passwd). Permintaan ini dibuat oleh penyerang dan sering berubah. Merekam semuanya memberatkan sumber daya penyimpanan.

Karakter default: ' $ \ ' !

Contoh

/app/v1/user/info?cmd='more /etc/passwd' dikonvergensikan menjadi {ARMS_ATTACK_REQ}.

Konvergensi parameter kueri

Secara default, agen ARMS tidak menangkap parameter kueri saat mengumpulkan URL. Namun, beberapa URL berisi parameter kueri yang dapat menyebabkan divergensi.

Pembatas parameter kueri default: ; ? &

Contoh

Secara default, /api/v1/user/info?userId=12345 dikonvergensikan menjadi {ARMS_PARAMED_REQ}. Dengan Konfigurasi Lanjutan diaktifkan, URL tersebut dikonvergensikan menjadi /api/v1/user/info?{ARMS_REQ_PARAMS}.

Konvergensi kata tidak bermakna

URL dengan kata atau rangkaian digit yang terlalu panjang cenderung mengalami divergensi. ARMS mengganti segmen path yang melebihi ambang batas panjang tertentu.

Contoh

/api/2024040710/hello2024040710 dikonvergensikan menjadi /api/{ARMS_NUMBER}/{ARMS_ANY}.

Konvergensi cerdas

Setelah kebijakan sebelumnya diterapkan, beberapa URL divergen mungkin masih tersisa. ARMS secara berkala menghasilkan aturan konvergensi menggunakan algoritma untuk menangani URL tersebut.

Contoh

/api/product/1/info
/api/product/2/info
....
/api/product/N/info

Server mencocokkan URL tersebut menggunakan ekspresi reguler /api/product/[\d]+/info dan mengonvergensikannya menjadi /api/product/{ARMS_NUMBER}/info.

Normalisasi SQL

Agen ARMS dapat mengumpulkan banyak pernyataan SQL akibat sharding, anotasi, atau literal inline. ARMS menormalisasi setiap pernyataan SQL dengan mengganti nilai-nilai yang divergen.

Contoh

select * from cache_0 where ckey='23'

Hasil:

select * from cache_{NUM} where ckey=?

Konvergensi alamat IP

Jika aplikasi Anda bergantung pada banyak layanan eksternal yang diakses melalui alamat IP, agen ARMS dapat mengumpulkan banyak alamat IP unik, sehingga menyebabkan divergensi.

Contoh

1.1.1.1:8080
...
1.1.1.255:8080

Alamat-alamat IP tersebut dikonvergensikan menjadi {ARMS_IP}:8080.

Konvergensi ruang kardinalitas

Kebijakan sebelumnya menyelesaikan sebagian besar masalah kardinalitas tinggi pada URL. Namun, untuk pernyataan SQL dan tipe data lainnya, sejumlah besar nilai dimensi mungkin tetap direkam. Untuk mencegah hal ini, ARMS membatasi jumlah nilai dimensi yang direkam dalam setiap periode waktu.

Ambang batas per jam default

Contoh

Asumsikan ukuran ruang kardinalitas diatur menjadi 100 catatan per jam. Alamat layanan eksternal:

www.a1.com
www.a2.com
....
www.a1000.com

Hanya 100 alamat pertama yang direkam per jam. Alamat berikutnya dikonvergensikan menjadi {ARMS_OTHERS}.

Agen ARMS sebelum V4.x

Sisi agen:

• URL: Konvergensi berbasis anotasi Spring > Konvergensi berbasis statistik memori

• SQL: Konvergensi berbasis statistik memori

• IP dan lainnya: Konvergensi berbasis statistik memori

Sisi server:

• URL: Konvergensi kustom > Konvergensi permintaan serangan siber > Konvergensi parameter kueri > Konvergensi resource statis > Konvergensi kata tidak bermakna > Konvergensi cerdas > Konvergensi ruang kardinalitas

• SQL: Konvergensi kustom > Konvergensi ruang kardinalitas

• IP dan lainnya: Konvergensi kustom > Konvergensi alamat IP > Konvergensi ruang kardinalitas

Agen ARMS V4.x dan versi lebih baru

Sisi agen:

• URL: Konvergensi berbasis anotasi Spring > Konvergensi kustom > Konvergensi permintaan serangan siber > Konvergensi parameter kueri > Konvergensi resource statis > Konvergensi kata tidak bermakna > Konvergensi cerdas > Konvergensi ruang kardinalitas

• SQL: Konvergensi kustom > Normalisasi SQL > Konvergensi ruang kardinalitas

• IP dan lainnya: Konvergensi kustom > Konvergensi alamat IP > Konvergensi ruang kardinalitas

Sisi server: Tidak berlaku (seluruh konvergensi dijalankan di sisi agen).

Bagaimana cara melihat nilai asli sebelum konvergensi?

• Agen ARMS V4.x dan versi lebih baru: Nilai asli maupun hasil konvergensi dicatat dalam data jejak. Gunakan Trace Explorer untuk melihat nilai asli.

• Agen ARMS sebelum V4.x: Nilai asli tidak tersedia karena konvergensi terjadi di sisi server.

Bagaimana cara menyesuaikan aturan konvergensi?

Tentukan aturan konvergensi kustom di Konsol ARMS. Di halaman detail aplikasi, pilih Configuration > Convergence pada bilah navigasi atas.

Sebagai contoh, tentukan ekspresi reguler /api/v1/user/\d+/info untuk mengonvergensikan semua URL yang cocok menjadi /api/v1/user/userId/info. URL /api/v1/user/124343543/info kemudian dikonvergensikan menjadi /api/v1/user/userId/info.

Bagaimana cara mengecualikan URL tertentu dari konvergensi?

Tentukan URL yang ingin dikecualikan dari konvergensi di Konsol ARMS. Buka halaman Configuration > Convergence yang sama seperti pada pertanyaan sebelumnya.

Sebagai contoh, jika Anda mengecualikan /api/v1/user/9999/info dari konvergensi, URL ini tidak dikonvergensikan menjadi /api/v1/user/userId/info.

Apa perbedaan antara konvergensi sisi agen dan sisi server?

Konvergensi sisi agen memproses data di agen ARMS sebelum melaporkannya ke server. Hal ini mengurangi beban pemrosesan server dan memberikan akurasi data 100%.

Konvergensi sisi server diterapkan ketika versi agen tidak mendukung kebijakan tertentu. Tanpa konvergensi sisi agen, agen mengirim paket data yang belum dikonvergensikan ke server. Paket besar menimbulkan dua risiko:

• Kehilangan data: Paket yang terlalu besar mungkin ditolak.

• Akurasi berkurang: Keterbatasan pemrosesan di sisi server dapat memengaruhi akurasi data hasil konvergensi.

Upgrade ke versi agen ARMS terbaru agar seluruh kebijakan konvergensi dijalankan di sisi agen.