Layanan Log Sederhana menawarkan empat solusi pemrosesan data: plug-in pemrosesan, Ingest Processor, transformasi data, dan Consumer Processor. Topik ini membandingkan fitur dan skenario penggunaannya untuk membantu Anda memilih solusi yang paling sesuai dengan kebutuhan.
Informasi latar belakang
-
Konfigurasi plug-in pemrosesan: Pengumpul data Layanan Log Sederhana menyediakan berbagai konfigurasi untuk pemrosesan data. Anda dapat menggunakan plug-in pemrosesan dan pernyataan SPL untuk memproses data di sisi klien.
-
Ingest Processor : Prosesor ingest dapat dikaitkan dengan sebuah Logstore. Secara default, data yang ditulis ke Logstore diproses oleh prosesor ingest di sisi server.
-
Transformasi data: Data ditulis ke Logstore sumber, lalu diproses berdasarkan aturan transformasi data. Data yang telah diproses ditulis ke Logstore tujuan.
-
Consumer Processor: Anda dapat mengonfigurasi Consumer Processor untuk melakukan pemrosesan data secara real-time terhadap data dari sebuah Logstore menggunakan SPL. Consumer Processor mendukung integrasi dengan layanan pihak ketiga seperti SDK, Flink, dan DataWorks.
Perbandingan metode-metode tersebut
Plug-in pemrosesan, prosesor ingest, transformasi data, dan Consumer Processor mencakup seluruh siklus hidup data: sebelum penyimpanan (saat pengumpulan), selama penyimpanan (saat penulisan), dan setelah penyimpanan. Mereka memiliki kesamaan—misalnya, semuanya dapat memproses data dan mendukung bahasa SPL. Namun, metode pemrosesan data ini berbeda dalam skenario penggunaan dan kemampuan spesifiknya.
|
Dimensi perbandingan |
Processing Plugin |
Prosesor ingest |
Transformasi data |
Consum Processor |
|
Tahap pemrosesan data |
Sebelum penyimpanan (selama pengumpulan data). |
Selama penyimpanan. |
Setelah penyimpanan. |
Setelah penyimpanan. |
|
Menulis ke beberapa Logstore |
Tidak didukung oleh satu konfigurasi pengumpulan saja. Anda dapat menggunakan beberapa konfigurasi pengumpulan bersama dengan plug-in pemrosesan. |
Tidak didukung. |
Didukung. |
Tidak didukung. |
|
SPL |
Didukung. |
Didukung. |
Didukung. |
Didukung. |
|
Instruksi SPL yang didukung |
Mendukung instruksi yang memproses data satu baris. Input berupa satu baris data, dan output berupa nol atau satu baris hasil. |
Mendukung instruksi yang memproses data satu baris. Input berupa satu baris data, dan output berupa nol atau satu baris hasil. |
Mendukung instruksi SPL lengkap. |
Mendukung instruksi SPL lengkap. |
|
Tidak ada data sensitif yang ditulis ke disk |
Didukung. |
Didukung. |
Tidak didukung. Data ditulis ke Logstore sumber. |
Tidak didukung. Data ditulis ke Logstore sumber. |
|
Penggunaan resource |
Mengonsumsi sebagian resource klien. |
Resource sisi server diskalakan secara otomatis. Proses ini transparan bagi pengguna. |
Resource sisi server diskalakan secara otomatis. Proses ini transparan bagi pengguna. |
Resource sisi server diskalakan secara otomatis. Proses ini transparan bagi pengguna. |
|
Dampak terhadap performa |
Performa pengumpulan sedikit terpengaruh oleh jumlah plug-in dan kompleksitas konfigurasinya. Performa penulisan data tidak terpengaruh. |
Performa penulisan sedikit terpengaruh oleh kompleksitas data dan pernyataan SPL. Latensi permintaan tunggal dapat meningkat beberapa milidetik hingga puluhan milidetik, tergantung pada ukuran paket data permintaan dan kompleksitas pernyataan SPL. |
Performa penulisan Logstore sumber tidak terpengaruh. |
Performa penulisan Logstore sumber tidak terpengaruh. |
|
Cakupan skenario |
Banyak. |
Normal. |
Banyak. |
Multiple |
|
Biaya |
Tidak dikenai biaya pemrosesan data SLS, tetapi mengonsumsi sebagian resource klien. |
Dikenai biaya pemrosesan data. Dalam skenario penyaringan data, biaya ini biasanya lebih rendah daripada penghematan yang diperoleh dari pengurangan trafik dan penyimpanan data. |
Dikenai biaya Logstore sumber dan biaya pemrosesan data. Anda dapat mengatur periode retensi data Logstore sumber menjadi satu hari dan menonaktifkan pengindeksan untuk mengurangi biaya Logstore sumber. |
Dikenai biaya Logstore sumber dan biaya pemrosesan data. Anda dapat mengatur periode retensi data Logstore sumber menjadi satu hari dan menonaktifkan pengindeksan untuk mengurangi biaya Logstore sumber. |
|
Toleransi kesalahan |
Dalam plug-in, Anda dapat mengonfigurasi apakah akan menyimpan field asli jika pemrosesan gagal. |
Anda dapat mengonfigurasi apakah akan menyimpan data asli jika pemrosesan gagal. |
Karena data sumber sudah disimpan, Anda dapat memilih untuk memproses ulang data jika aturan transformasi gagal. Anda juga dapat membuat beberapa pekerjaan transformasi data untuk memproses data secara terpisah. |
Karena data sumber sudah disimpan, kelompok konsumen Flink, DataWorks, dan SDK yang mengintegrasikan aturan konsumsi SPL akan secara otomatis mencoba ulang saat terjadi error. |
Perbedaan kemampuan menjadi dasar perbandingan solusi untuk Ingest Processor, konfigurasi pemrosesan Logtail, dan transformasi data dalam skenario-skenario umum.
|
Skenario |
Konfigurasi pemrosesan Logtail |
Ingest processor |
Transformasi data |
Prosesor konsumen |
|
Pemrosesan data sederhana, seperti pemrosesan data satu baris yang tidak melibatkan logika komputasi kompleks. |
Direkomendasikan |
Direkomendasikan |
Direkomendasikan |
Direkomendasikan |
|
Pemrosesan data kompleks yang melibatkan logika komputasi rumit atau memerlukan beberapa kondisi, agregasi window, atau enrichment tabel dimensi. |
Umum |
Umum |
Direkomendasikan |
Direkomendasikan |
|
Resource klien terbatas, seperti saat resource komputasi yang tersedia untuk Logtail terbatas. |
Umum |
Direkomendasikan |
Direkomendasikan |
Direkomendasikan |
|
Kontrol sisi klien terbatas, seperti tidak memiliki izin untuk mengubah konfigurasi Logtail di sisi pengumpulan atau logika penulisan SDK. |
Tidak direkomendasikan |
Direkomendasikan |
Direkomendasikan |
Direkomendasikan |
|
Kontrol sisi server terbatas, seperti tidak memiliki izin untuk mengubah konfigurasi Logstore atau transformasi data. |
Direkomendasikan |
Tidak direkomendasikan |
Tidak direkomendasikan |
Tidak direkomendasikan |
|
Sensitif terhadap latensi dan performa penulisan data, seperti saat Anda ingin data mentah dikumpulkan secepat mungkin. |
Umum |
Umum |
Direkomendasikan |
Direkomendasikan |
|
Penyembunyian data, dan data sensitif boleh ditulis ke disk. |
Direkomendasikan |
Direkomendasikan |
Direkomendasikan |
Direkomendasikan |
|
Penyembunyian data, dan data sensitif tidak boleh ditulis ke disk. |
Direkomendasikan |
Direkomendasikan |
Tidak direkomendasikan |
Tidak direkomendasikan |
|
Enrichment data yang tidak bergantung pada sumber data eksternal, seperti menambahkan field baru yang nilainya statis atau diekstraksi dari field yang sudah ada. |
Umum |
Direkomendasikan |
Direkomendasikan |
Direkomendasikan |
|
Enrichment data yang bergantung pada sumber data eksternal, seperti melakukan kueri ke tabel MySQL untuk mendapatkan data enrichment lain berdasarkan field log. |
Tidak direkomendasikan |
Tidak direkomendasikan |
Direkomendasikan |
Direkomendasikan |
|
Distribusi data, yang menulis data ke Logstore berbeda berdasarkan kondisi yang berbeda. |
Umum |
Tidak direkomendasikan |
Direkomendasikan |
Tidak direkomendasikan |
|
Penyaringan data, di mana data mentah tidak diperlukan, untuk menghemat biaya. |
Umum |
Direkomendasikan |
Umum |
Umum |