Simple Log Service menyediakan metode pemrosesan data berikut: prosesor ingest, konfigurasi plug-in Logtail, dan transformasi data. Topik ini membandingkan fitur serta skenario aplikasi dari masing-masing metode untuk membantu Anda memilih yang sesuai dengan kebutuhan bisnis.
Informasi latar belakang
Konfigurasi Plug-in Logtail: Logtail menyediakan berbagai konfigurasi untuk pemrosesan data. Anda dapat menggunakan plug-in Logtail dan Simple Log Service Processing Language (SPL) untuk memproses data di klien. Untuk informasi lebih lanjut, lihat Ikhtisar Plug-in Logtail untuk Pemrosesan Data dan Gunakan Logtail SPL untuk Mengurai Log.
Prosesor Ingest: Prosesor ingest dapat dikaitkan dengan Logstore. Secara default, data yang ditulis ke Logstore diproses oleh prosesor ingest di server.
Transformasi Data: Data ditulis ke Logstore sumber dan kemudian diproses berdasarkan aturan transformasi data. Data yang telah diproses ditulis ke Logstore tujuan.
Perbandingan
Prosesor ingest, konfigurasi plug-in Logtail, dan transformasi data adalah tiga metode utama untuk memproses data selama siklus hidupnya. Metode ini digunakan pada tahap berbeda: pengumpulan data, sebelum penyimpanan, selama penyimpanan, dan setelah penyimpanan. Mereka mendukung bahasa SPL dan memiliki fitur unik yang cocok untuk skenario tertentu.
Dimensi Perbandingan | Konfigurasi Plug-in Logtail | Prosesor Ingest | Transformasi Data |
Tahap dalam Pemrosesan Data | Sebelum penyimpanan (selama pengumpulan data). | Selama penyimpanan. | Setelah penyimpanan. |
Ditulis ke Beberapa Logstore | Konfigurasi Logtail tunggal tidak didukung. Anda dapat menggunakan beberapa konfigurasi Logtail bersama dengan plug-in Logtail. | Tidak didukung. | Didukung. |
SPL | Didukung. | Didukung. | Didukung. |
Instruksi SPL yang Didukung | Instruksi SPL yang menangani satu baris input pada satu waktu dan mengembalikan tanpa output atau satu baris output didukung. | Instruksi SPL yang menangani satu baris input pada satu waktu dan mengembalikan tanpa output atau satu baris output didukung. | Instruksi SPL lengkap didukung. |
Tidak Ada Data Sensitif yang Ditulis ke Disk | Didukung. | Didukung. | Tidak didukung. Data ditulis ke Logstore sumber. |
Penggunaan Sumber Daya | Sumber daya klien tertentu dikonsumsi. | Sumber daya diskalakan secara otomatis. Proses ini transparan bagi pengguna. | Sumber daya diskalakan secara otomatis. Proses ini transparan bagi pengguna. |
Kinerja | Kinerja pengumpulan sedikit terpengaruh berdasarkan jumlah plug-in dan kompleksitas konfigurasi. Kinerja penulisan tidak terpengaruh. | Kinerja penulisan sedikit terpengaruh berdasarkan kompleksitas data dan pernyataan SPL. Latensi permintaan tunggal dapat meningkat beberapa milidetik hingga puluhan milidetik berdasarkan ukuran paket data yang diminta dan kompleksitas pernyataan SPL. | Kinerja penulisan Logstore sumber tidak terpengaruh. |
Cakupan Skenario | Sedang. | Standar. | Tinggi. |
Biaya | Anda tidak dikenakan biaya pemrosesan data, tetapi sejumlah sumber daya klien tertentu dikonsumsi. | Anda dikenakan biaya pemrosesan data. Dalam banyak kasus, biaya terkait pemrosesan data dalam skenario penyaringan data lebih rendah daripada penghematan biaya dari jumlah data yang berkurang yang perlu ditransfer dan disimpan. | Anda dikenakan biaya Logstore sumber dan biaya pemrosesan data. Anda dapat mengatur periode retensi data di Logstore sumber menjadi satu hari dan menonaktifkan pengindeksan untuk mengurangi biaya Logstore sumber. |
Toleransi Kesalahan | Anda dapat menentukan apakah akan mempertahankan bidang asli saat data gagal diproses. | Anda dapat menentukan apakah akan mempertahankan data asli saat data gagal diproses. | Data sumber disimpan. Anda dapat menentukan apakah akan memproses ulang data jika data gagal ditransformasikan berdasarkan aturan transformasi data yang ditentukan. Anda juga dapat membuat beberapa pekerjaan transformasi data untuk memproses data secara terpisah. |
Tabel berikut memberikan perbandingan prosesor ingest, konfigurasi plug-in Logtail, dan transformasi data dalam skenario umum.
Skenario | Konfigurasi plug-in Logtail | Prosesor ingest | Transformasi data |
Tugas pemrosesan data sederhana, seperti pemrosesan data satu baris, yang tidak melibatkan logika komputasi yang kompleks. | Direkomendasikan | Direkomendasikan | Direkomendasikan |
Tugas pemrosesan data kompleks, yang melibatkan logika komputasi yang kompleks atau memerlukan beberapa kondisi, agregasi jendela, dan pengayaan tabel dimensi. | Secara moderat direkomendasikan | Secara moderat direkomendasikan | Direkomendasikan |
Sumber daya klien terbatas. Misalnya, sumber daya komputasi yang dapat digunakan oleh Logtail terbatas. | Secara moderat direkomendasikan | Direkomendasikan | Direkomendasikan |
Izin terbatas pada klien. Misalnya, Anda tidak memiliki izin untuk memodifikasi konfigurasi Logtail atau logika penulisan SDK pada klien tempat data dikumpulkan. | Tidak direkomendasikan | Direkomendasikan | Direkomendasikan |
Izin terbatas pada server. Misalnya, Anda tidak memiliki izin untuk memodifikasi Logstore atau konfigurasi transformasi data. | Direkomendasikan | Tidak direkomendasikan | Tidak direkomendasikan |
Sensitif terhadap latensi penulisan data dan kinerja. Misalnya, Anda ingin data mentah dikumpulkan secepat mungkin. | Secara moderat direkomendasikan | Secara moderat direkomendasikan | Direkomendasikan |
Penyamaran data dan data sensitif yang ditulis ke disk. | Direkomendasikan | Direkomendasikan | Direkomendasikan |
Penyamaran data dan tidak ada data sensitif yang ditulis ke disk. | Direkomendasikan | Direkomendasikan | Tidak direkomendasikan |
Pengayaan data yang tidak bergantung pada sumber data eksternal. Misalnya, ketika Anda menambahkan bidang baru, nilai bidang tersebut tetap atau diekstraksi dari bidang yang sudah ada. | Secara moderat direkomendasikan | Direkomendasikan | Direkomendasikan |
Pengayaan data yang bergantung pada sumber data eksternal. Misalnya, Anda dapat menanyakan data pengayaan tambahan dalam tabel MySQL berdasarkan bidang log. | Tidak direkomendasikan | Tidak direkomendasikan | Direkomendasikan |
Distribusi data. Anda dapat menulis data ke Logstore yang berbeda berdasarkan kondisi yang berbeda. | Secara moderat direkomendasikan | Tidak direkomendasikan | Direkomendasikan |
Penyaringan data. Anda perlu menyaring data dan tidak perlu menyimpan data mentah untuk menghemat biaya sampai batas tertentu. | Secara moderat direkomendasikan | Direkomendasikan | Secara moderat direkomendasikan |