Konfigurasikan kelompok mesin untuk LoongCollector - Simple Log Service

Setelah menginstal LoongCollector di server, Anda perlu membuat kelompok mesin untuk mengelola server sebagai sumber daya dalam Simple Log Service. Kemudian, buat konfigurasi pengumpulan LoongCollector untuk menentukan aturan pengumpulan data. Untuk menerapkan aturan tersebut ke server, sambungkan konfigurasi pengumpulan ke kelompok mesin.

Konsep inti dan hubungan mereka

Apa itu kelompok mesin

Kelompok mesin adalah kelompok virtual dari server yang dikelola sebagai sumber daya dalam proyek Simple Log Service. Simple Log Service menggunakan kelompok mesin untuk mengelola server, yang dikaitkan melalui heartbeat.

Simple Log Service menyediakan dua jenis kelompok mesin:

Kelompok mesin berbasis alamat IP

Untuk menggunakan kelompok mesin berbasis alamat IP, tambahkan alamat IP server ke kelompok mesin.

Jenis kelompok mesin ini lebih mudah dibuat dan dikonfigurasi.
Jika terjadi konflik alamat IP atau perubahan alamat IP, heartbeat dapat gagal, yang memengaruhi pengumpulan data.

Kelompok mesin berbasis pengenal kustom

Anda dapat membuat asosiasi dengan mengonfigurasi string kustom sebagai pengenal dalam kelompok mesin dan menambahkan string tersebut ke file pengenal di server. Anda dapat menambahkan beberapa pengenal kustom ke file pengenal di server, dengan setiap pengenal berada di baris baru.

Proses konfigurasi lebih kompleks daripada kelompok mesin berbasis alamat IP. Namun, metode ini mencegah kegagalan pengumpulan data akibat konflik alamat IP, yang sering terjadi di lingkungan jaringan khusus seperti VPC.
Jenis kelompok mesin ini mendukung skalabilitas otomatis. Jika Anda mengonfigurasi server baru dengan pengenal kustom yang sama, Simple Log Service secara otomatis mendeteksi dan menambahkannya ke kelompok mesin. Sebaliknya, jika Anda tidak lagi perlu mengumpulkan log dari server, Anda dapat menghapus file pengenalnya, dan kelompok mesin secara otomatis menghapus server tersebut.
Sistem bisnis sering kali terdiri dari beberapa modul, dan Anda dapat menskalakan setiap modul secara horizontal dengan menambahkan server. Untuk mengumpulkan dan mengklasifikasikan data log secara efisien, disarankan untuk membuat kelompok mesin terpisah untuk setiap modul. Sebagai contoh, sebuah situs web mungkin terdiri dari modul permintaan HTTP, modul logika, dan modul penyimpanan. Anda dapat menentukan pengenal kustom mereka sebagai http_module, logic_module, dan store_module.

Cara membuat kelompok mesin

Untuk menetapkan asosiasi berbasis heartbeat antara kelompok mesin dan server, Anda harus terlebih dahulu menginstal agen LoongCollector di server. Disarankan membuat kelompok mesin saat menginstal agen. Untuk informasi lebih lanjut, lihat Instalasi dan Manajemen LoongCollector (Linux) atau Instalasi dan Manajemen LoongCollector (Kubernetes).

Apa itu konfigurasi pengumpulan LoongCollector

Konfigurasi pengumpulan adalah serangkaian aturan inti yang menentukan cara mengumpulkan dan memproses data. Ini memungkinkan Anda mengonfigurasi pengaturan untuk mengumpulkan, mengurai, memfilter, dan memproses data secara efisien. Konfigurasi pengumpulan disambungkan ke kelompok mesin untuk menerapkan aturan pengumpulan ke semua server dalam kelompok tersebut. Data diproses di server menggunakan sumber daya lokal selama pengumpulan. Konfigurasi pengumpulan terdiri dari tiga bagian berikut:

Konfigurasi global: Termasuk nama konfigurasi pengumpulan, topik log, dan tag. Anda dapat menggunakan topik dan tag untuk menandai dan mengklasifikasikan log yang dikumpulkan.
Konfigurasi input: Menentukan jenis data yang akan dikumpulkan, seperti input file, output kluster standar, hasil kueri SQL, atau input HTTP. Ini juga menentukan informasi spesifik untuk setiap jenis data, seperti jalur pengumpulan dan sumber.
Konfigurasi pemrosesan: Menentukan aturan untuk mengurai data menggunakan kombinasi plugin. Ini memungkinkan Anda memformat data sesuai kebutuhan dengan melakukan tindakan seperti memfilter, menyembunyikan, mencocokkan dengan ekspresi reguler, atau mengurai data berformat JSON.

Cara membuat konfigurasi pengumpulan

Konfigurasi pengumpulan harus disambungkan ke kelompok mesin untuk menerapkan aturannya ke server dalam kelompok tersebut. Oleh karena itu, disarankan membuat konfigurasi pengumpulan berdasarkan jenis sumber data dan mengikuti proses pengumpulan data lengkap. Untuk informasi lebih lanjut, lihat Pengumpulan Data Log.

Hubungan antara kelompok mesin dan konfigurasi pengumpulan

Dalam Simple Log Service, Anda dapat menerapkan konfigurasi pengumpulan LoongCollector ke beberapa Machine Groups, dan Machine Group dapat memiliki beberapa konfigurasi pengumpulan LoongCollector yang diterapkan padanya. Karena konfigurasi pengumpulan disambungkan ke kelompok mesin, jika Anda menambahkan atau menghapus server dari kelompok mesin, konfigurasi pengumpulan yang sesuai secara otomatis diterapkan atau dihapus dari server tersebut. Desain ini memisahkan server dari konfigurasi pengumpulan. Perhatikan bahwa Anda tidak dapat menambahkan server dengan sistem operasi berbeda ke kelompok mesin yang sama.

Skenario untuk mengasosiasikan kelompok mesin dengan konfigurasi pengumpulan

Cara mengumpulkan log dari beberapa direktori

Keperluan: Anda perlu mengumpulkan log dari /var/log/messages dan /opt/app/logs/*.log dan mengirimkannya ke Logstore yang sama.

Solusi:

Buat dua konfigurasi pengumpulan di Logstore tujuan. Atur jalur untuk satu konfigurasi menjadi /var/log/messages dan jalur untuk yang lainnya menjadi /opt/app/logs/*.log.
Terapkan kedua konfigurasi pengumpulan ke kelompok mesin yang sama.
Simple Log Service mengumpulkan data dari jalur /var/log/messages dan /opt/app/logs/*.log di semua server dalam kelompok mesin dan mengirimkan data ke Logstore tujuan.

Unggah log dari server yang sama ke beberapa Logstore

Keperluan: Anda perlu mengirim beberapa jenis log dari direktori berbeda di satu server ke Logstore yang berbeda.

Solusi:

Buat konfigurasi pengumpulan yang berbeda di Logstore yang berbeda.
Catatan: Jika beberapa konfigurasi mengumpulkan data dari file yang sama, Anda harus mengaktifkan saklar Izinkan Pengumpulan File Beberapa Kali dalam konfigurasi input. Untuk informasi lebih lanjut, lihat Pengumpulan Log Ganda.
Terapkan konfigurasi pengumpulan ini ke kelompok mesin yang sama.
Simple Log Service mengunggah log yang berbeda dari server dalam kelompok mesin ke Logstore yang sesuai berdasarkan konfigurasi pengumpulan.

Cara memusatkan log dari server yang berbeda

Keperluan: Anda perlu mengumpulkan jenis log tertentu dari beberapa server yang berada di kelompok mesin yang berbeda dan menyimpan log ke Logstore yang sama.

Solusi:

Buat konfigurasi pengumpulan di Logstore tujuan.
Terapkan konfigurasi pengumpulan ini ke beberapa kelompok mesin yang berisi server tersebut.
Simple Log Service mengumpulkan log dari server dalam kelompok mesin yang ditentukan dan mengirimkannya ke Logstore tujuan.

Mengubah aturan pengumpulan pada server

Keperluan 1: Aturan dalam konfigurasi pengumpulan yang disambungkan ke kelompok mesin tidak lagi cocok, dan Anda ingin menggunakan konfigurasi pengumpulan yang berbeda.

Solusi:

Masuk ke Konsol Simple Log Service. Dalam daftar Projects, klik proyek target. Di panel navigasi di sebelah kiri, pilih Resources > Machine Groups. Pada halaman Machine Groups, pilih kelompok mesin yang ingin Anda ubah. Lalu, di halaman Machine Group Configurations, klik Ubah.
Di panel Kelola Konfigurasi, lihat daftar konfigurasi pengumpulan yang tersedia di sebelah kiri. Pilih konfigurasi yang diperlukan dan pindahkan ke daftar yang diterapkan di sebelah kanan.

Keperluan 2: Anda perlu menerapkan konfigurasi pengumpulan yang ada saat menambahkan server baru, atau Anda perlu menghentikan pengumpulan log dari server yang ada.

Solusi:

Masuk ke Konsol Simple Log Service. Dalam daftar Projects, klik proyek target. Di panel navigasi di sebelah kiri, pilih Resources > Machine Groups. Pada halaman Machine Groups, pilih kelompok mesin yang ingin Anda ubah, lalu ubah pengaturannya di halaman Machine Group Configurations.
Ubah server dalam kelompok mesin untuk menerapkan atau menghapus konfigurasi pengumpulan:
1. Untuk kelompok mesin berbasis alamat IP, tambahkan atau hapus alamat IP di bidang Alamat IP. Pisahkan beberapa alamat IP dengan line feed.
  Alamat IP harus cocok dengan nilai bidang ip dalam file /usr/local/ilogtail/app_info.json di server.
2. Untuk kelompok mesin berbasis pengenal kustom, konfigurasikan Custom Identifier yang sama di server baru. Simple Log Service dapat secara otomatis mendeteksi server dan menambahkannya ke Machine Group. Jika Anda tidak lagi perlu mengumpulkan log dari server, Anda dapat menghapus file pengenalnya. Machine Group kemudian secara otomatis menghapus server. Ini memungkinkan skalabilitas otomatis.
Catatan
Menambahkan server ke kelompok mesin tidak secara otomatis menginstal LoongCollector. Anda harus terlebih dahulu menginstal LoongCollector di server baru.