Plugin keamanan data (penyamaran dan enkripsi) - Simple Log Service

Gunakan plugin keamanan data untuk menyamarkan dan mengenkripsi data sensitif.

Contoh efek plugin

Tabel berikut menunjukkan struktur data log mentah setelah disimpan ke Simple Log Service, membandingkan hasil penggunaan plugin penyamaran data native dengan hasil tanpa menggunakan plugin apa pun.

Log mentah	Tanpa plugin	Dengan plugin penyamaran data
`[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]`	Konten: "[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]"	Konten: "[{'account':'1812213231432969','password':'******'}, {'account':'1812213685634','password':'******'}]"

Ikhtisar plugin keamanan data

Simple Log Service menyediakan jenis plugin keamanan data berikut. Anda dapat memilih plugin sesuai kebutuhan Anda.

Nama plugin	Jenis	Deskripsi
Penyamaran data	Native	Menyamarkan dan mengganti field log.
Penyamaran data	Ekstensi	Mengganti data sensitif dengan string yang ditentukan atau hash MD5.
Enkripsi field	Ekstensi	Mengenkripsi konten field tertentu.
Pengkodean dan penguraian data	Ekstensi	Menguraikan data dari Base64, atau mengkodekan data ke Base64 atau MD5.

Titik masuk

Jika ingin menggunakan plugin Logtail untuk memproses log, tambahkan konfigurasi plugin Logtail saat membuat atau mengubah konfigurasi tersebut. Untuk informasi selengkapnya, lihat Ikhtisar.

Perbedaan antara plugin native dan ekstensi

Plugin native diimplementasikan dalam C++ untuk kinerja yang lebih baik.

Plugin ekstensi diimplementasikan dalam Go guna menyediakan ekosistem yang kaya dan fleksibel. Gunakan plugin ekstensi jika log bisnis Anda terlalu kompleks untuk diproses oleh plugin native.

Batasan kinerja plugin ekstensi
- Saat menggunakan plugin ekstensi untuk memproses log, LoongCollector mengonsumsi lebih banyak sumber daya, terutama CPU. Jika diperlukan, Anda dapat menyesuaikan pengaturan parameter LoongCollector untuk melakukan optimasi untuk latensi transmisi log panjang.
- Jika kecepatan pembuatan data mentah melebihi 5 MB/detik, hindari menggunakan kombinasi plugin yang kompleks untuk memproses log. Anda dapat menggunakan plugin ekstensi untuk pemrosesan sederhana, lalu menggunakan transformasi data untuk pemrosesan lebih lanjut.
Batasan pengumpulan log
- Plugin ekstensi memproses log teks dalam mode baris. Artinya, metadata tingkat file seperti __tag__:__path__ dan __topic__ disimpan di setiap log.
- Penambahan plugin ekstensi memengaruhi fitur yang terkait dengan tag:
  - Fitur kueri konteks dan LiveTail menjadi tidak tersedia. Untuk menggunakan fitur ini, Anda harus menambahkan konfigurasi agregator.
  - Field __topic__ diganti namanya menjadi __log_topic__. Jika Anda menambahkan konfigurasi agregator, kedua field __topic__ dan __log_topic__ akan ada di log. Jika tidak memerlukan field __log_topic__, Anda dapat menggunakan plugin hapus field untuk menghapusnya.
  - Field seperti __tag__:__path__ tidak lagi memiliki indeks bidang native. Anda harus membuat indeks bidang untuknya.

Plugin penyamaran data (native)

Plugin penyamaran data menyamarkan log.

Deskripsi konfigurasi

Parameter	Deskripsi
Source Field	Field sumber yang menyimpan konten log sebelum penguraian.
Masking Method	Metode penyamaran. Nilai yang valid: const: Mengganti konten sensitif dengan string yang Anda tentukan. md5: Mengganti konten sensitif dengan hash MD5-nya.
Replacement String	Jika Anda mengatur Masking Method ke const, masukkan string untuk mengganti konten sensitif.
Prefix Content Expression	Ekspresi untuk konten yang mendahului konten sensitif. Ekspresi ini digunakan untuk menemukan konten sensitif. Ekspresi harus mengikuti sintaks RE2. Untuk informasi selengkapnya, lihat Sintaks RE2.
Expression for Replacing Content	Ekspresi untuk konten sensitif. Ekspresi harus mengikuti sintaks RE2. Untuk informasi selengkapnya, lihat Sintaks RE2.
Replace All Matches	Jika Anda memilih Replace All Matches, semua konten sensitif dalam field diganti. Jika Anda tidak memilih Replace All Matches, hanya bagian pertama konten dalam field yang cocok dengan ekspresi yang diganti.

Contoh

Field sumber

content:[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

Konfigurasi Logtail

Hasil penguraian

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Plugin penyamaran data (ekstensi)

Anda dapat menggunakan plugin processor_desensitize untuk mengganti data sensitif dalam log dengan string yang ditentukan atau hash MD5. Bagian ini menjelaskan parameter dan memberikan contoh plugin processor_desensitize.

Batasan

Konfigurasi berbasis formulir: Tersedia saat Anda mengumpulkan log teks dan keluaran standar kontainer.
Konfigurasi JSON: Tidak tersedia saat Anda mengumpulkan log teks.

Petunjuk konfigurasi

Penting

Plugin processor_desensitize didukung di Logtail 1.3.0 dan versi yang lebih baru.

Konfigurasi berbasis formulir

Atur Processor Type ke Data Masking. Tabel berikut menjelaskan parameter tersebut.

Parameter

Parameter	Deskripsi
Source Field	Nama field log.
Masking Method	Metode penyamaran. Nilai yang valid: String Replacement: Mengganti konten sensitif dengan string. Anda dapat menentukan string tujuan di parameter Replacement String. md5: Mengganti konten sensitif dengan hash MD5-nya.
Sensitive Data Content	Metode untuk mengekstrak konten sensitif. Nilai yang valid: Full Field: Mengekstrak semua konten. Ini mengganti semua konten di field tujuan. Regular Expression: Menggunakan ekspresi reguler untuk mengekstrak konten sensitif.
Replacement String	String yang digunakan untuk mengganti konten sensitif. Parameter ini wajib jika Anda mengatur Masking Method ke String Replacement.
Sensitive Content Prefix Regex	Ekspresi reguler yang cocok dengan awalan konten sensitif. Parameter ini wajib jika Anda mengatur Sensitive Data Content ke Regular expression.
Sensitive Content Regex	Ekspresi reguler yang cocok dengan konten sensitif. Parameter ini wajib jika Anda mengatur Sensitive Data Content ke Regular expression.

Contoh
Ganti semua konten di field tujuan dengan string.
- Log mentah
```
"password" : "123abcdefg"
```
- Konfigurasi pemrosesan plugin Logtail
- Hasil
```
"password":"********"
```

Konfigurasi JSON

Atur type ke processor_desensitize. Tabel berikut menjelaskan parameter dalam detail.

Parameter

Parameter	Jenis	Wajib	Deskripsi
SourceKey	String	Ya	Nama field log.
Method	String	Ya	Metode penyamaran. Nilai yang valid: const: Mengganti konten sensitif dengan string. Anda dapat menentukan string tujuan di parameter ReplaceString. md5: Mengganti konten sensitif dengan hash MD5-nya.
Match	String	Tidak	Metode untuk mengekstrak konten sensitif. Nilai yang valid: full (default): Mengekstrak semua konten. Ini mengganti semua konten di field tujuan. regex: Menggunakan ekspresi reguler untuk mengekstrak konten sensitif.
ReplaceString	String	Tidak	String yang digunakan untuk mengganti konten sensitif. Parameter ini wajib jika Anda mengatur Method ke const.
RegexBegin	String	Tidak	Ekspresi reguler yang cocok dengan awalan konten sensitif. Parameter ini wajib jika Anda mengatur Match ke regex.
RegexContent	String	Tidak	Ekspresi reguler yang cocok dengan konten sensitif. Parameter ini wajib jika Anda mengatur Match ke regex.

Contoh

Contoh 1

Ganti semua konten di field tujuan dengan string. Untuk melakukannya, atur Method ke const dan Match ke full.

Log mentah
```
"password" : "123abcdefg"
```

Konfigurasi pemrosesan plugin Logtail

{
  "type" : "processor_desensitize",
  "detail" : {
    "SourceKey" : "password",
    "Method" : "const",
    "Match" : "full",
    "ReplaceString": "********"
  }
}

Hasil
```
"password":"********"
```

Contoh 2

Anda dapat menggunakan ekspresi reguler untuk menentukan konten sensitif di field tujuan dan menggantinya dengan hash MD5 yang sesuai. Untuk melakukannya, atur Method ke md5 dan Match ke regex.

Log mentah

"content" : "[{'account':'1234567890','password':'abc123'}]"

Konfigurasi pemrosesan plugin Logtail

{
   "type" : "processor_desensitize",
   "detail" : {
      "SourceKey" : "content",
      "Method" : "md5",
      "Match" : "regex",
      "RegexBegin": "'password':'",
      "RegexContent": "[^']*"
   }
}

Hasil

"content":"[{'account':'1234567890','password':'e99a18c428cb38d5f260853678922e03'}]"

Plugin enkripsi field (ekstensi)

Anda dapat menggunakan plugin processor_encrypt untuk mengenkripsi field tertentu. Bagian ini menjelaskan parameter dan memberikan contoh plugin processor_encrypt.

Deskripsi konfigurasi

Konfigurasi berbasis formulir

Atur Processor Type ke Field Encryption. Tabel berikut menjelaskan parameter tersebut.

Parameter	Deskripsi
Source Fields	Field sumber yang akan dienkripsi. Anda dapat menambahkan beberapa field.
Key	Kunci enkripsi. Kunci harus berupa string heksadesimal sepanjang 64 karakter.
Initialization Vector	Vektor inisialisasi (IV) untuk enkripsi. IV harus berupa string heksadesimal sepanjang 32 karakter. Nilai default adalah `00000000000000000000000000000000`.
Save Path	Jalur file tempat membaca parameter enkripsi. Jika parameter ini tidak dikonfigurasi, jalur file yang ditentukan di Input Configuration pada konfigurasi Logtail akan digunakan.
Keep Source Data On Failure	Jika Anda memilih opsi ini dan enkripsi gagal, sistem akan menyimpan nilai field asli. Jika Anda tidak memilih opsi ini dan enkripsi gagal, nilai field akan diganti dengan `ENCRYPT_ERROR`.

Konfigurasi JSON

Atur type ke processor_encrypt. Tabel berikut menjelaskan parameter dalam detail.

Parameter	Jenis	Wajib	Deskripsi
SourceKey	Array string	Ya	Nama field sumber.
EncryptionParameters	Objek	Ya	Konfigurasi kunci.
Key	String	Ya	Kunci enkripsi. Kunci harus berupa string heksadesimal sepanjang 64 karakter.
IV	String	Tidak	Vektor inisialisasi (IV) untuk enkripsi. IV harus berupa string heksadesimal sepanjang 32 karakter. Nilai default adalah `00000000000000000000000000000000`.
KeyFilePath	Boolean	Tidak	Jalur file tempat membaca parameter enkripsi. Jika parameter ini tidak dikonfigurasi, jalur file yang ditentukan di Input Configuration pada konfigurasi Logtail akan digunakan.
KeepSourceValueIfError	String	Tidak	Menentukan apakah nilai field asli dipertahankan jika enkripsi gagal. true: Pertahankan nilai. false (default): Jangan pertahankan nilai. Jika enkripsi gagal, nilai field diganti dengan `ENCRYPT_ERROR`.

Plugin pengkodean dan penguraian data (ekstensi)

Anda dapat menggunakan plugin processor_base64_encoding, processor_base64_decoding, atau processor_md5 untuk mengkodekan atau menguraikan nilai field. Bagian ini menjelaskan parameter dan memberikan contoh untuk setiap plugin.

Batasan

Konfigurasi berbasis formulir: Tersedia saat Anda mengumpulkan log teks dan keluaran standar kontainer.
Konfigurasi JSON: Tidak tersedia saat Anda mengumpulkan log teks.

Pengkodean Base64

Anda dapat menggunakan plugin processor_base64_encoding untuk mengkodekan nilai field.

Konfigurasi berbasis formulir

Atur Processor Type ke BASE64 (Encode). Tabel berikut menjelaskan parameter tersebut.

Parameter	Deskripsi
Source Field	Nama field sumber.
Result Field	Nama field yang menyimpan hasil pengkodean.
Error On Missing Source Field	Jika Anda memilih opsi ini, sistem akan melaporkan kesalahan jika field sumber tidak ada di log mentah.

Konfigurasi JSON

Atur type ke processor_base64_encoding. Tabel berikut menjelaskan parameter dalam detail.

Parameter	Jenis	Wajib	Deskripsi
SourceKey	String	Ya	Nama field sumber.
NewKey	String	Ya	Nama field yang menyimpan hasil pengkodean.
NoKeyError	Boolean	Tidak	Menentukan apakah sistem melaporkan kesalahan jika field sumber tidak ada di log mentah. true: Laporkan kesalahan. false (default): Jangan laporkan kesalahan.

Penguraian Base64

Anda dapat menggunakan plugin processor_base64_decoding untuk menguraikan nilai field.

Konfigurasi berbasis formulir

Atur Processor Type ke BASE64 (Decode). Tabel berikut menjelaskan parameter tersebut.

Parameter	Deskripsi
Source Field	Nama field sumber.
Result Field	Nama field yang menyimpan hasil penguraian.
Error On Missing Source Field	Jika Anda memilih opsi ini, sistem akan melaporkan kesalahan jika field sumber tidak ada di log mentah.
Error On Decoding Failure	Jika Anda memilih opsi ini, sistem akan melaporkan kesalahan jika penguraian gagal.

Konfigurasi JSON

Atur type ke processor_base64_decoding. Tabel berikut menjelaskan parameter dalam detail.

Parameter	Jenis	Wajib	Deskripsi
SourceKey	String	Ya	Nama field sumber.
NewKey	String	Ya	Nama field yang menyimpan hasil penguraian.
NoKeyError	Boolean	Tidak	Menentukan apakah sistem melaporkan kesalahan jika field sumber tidak ada di log mentah. true: Laporkan kesalahan. false (default): Jangan laporkan kesalahan.
DecodeError	Boolean	Tidak	Menentukan apakah sistem melaporkan kesalahan jika penguraian gagal. true: Laporkan kesalahan. false (default): Jangan laporkan kesalahan.

Pengkodean MD5

Anda dapat menggunakan plugin processor_md5 untuk mengkodekan nilai field ke MD5.

Konfigurasi berbasis formulir

Atur Processor Type ke MD5. Tabel berikut menjelaskan parameter tersebut.

Parameter	Deskripsi
Source Field	Nama field sumber.
Result Field	Nama field yang menyimpan hasil pengkodean.
Error On Missing Source Field	Jika Anda memilih opsi ini, sistem akan melaporkan kesalahan jika field sumber tidak ada di log mentah.

Konfigurasi JSON

Atur type ke processor_md5. Tabel berikut menjelaskan parameter dalam detail.

Parameter	Jenis	Wajib	Deskripsi
SourceKey	String	Ya	Nama field sumber.
MD5Key	String	Ya	Nama field yang menyimpan hasil pengkodean.
NoKeyError	Boolean	Tidak	Menentukan apakah sistem melaporkan kesalahan jika field sumber tidak ada di log mentah. true: Laporkan kesalahan. false (default): Jangan laporkan kesalahan.

Referensi

Konfigurasikan pipeline Logtail dengan memanggil operasi API:
Konfigurasikan plugin pemrosesan di Konsol:
- Kumpulkan log teks dari host
- Kumpulkan log kontainer (keluaran standar atau file) dari kluster di Konsol
Kumpulkan log kontainer (keluaran standar atau file) dari kluster menggunakan Kubernetes CRDs