Simple Log Service:Kumpulkan log dari instans ECS di akun Alibaba Cloud lain ke Simple Log Service

Skenario

Dalam lingkungan cloud multi-akun, Anda mungkin perlu memusatkan log karena alasan berikut:

• Pemantauan layanan terpadu: Simpan log aplikasi dan log sistem dari berbagai akun bisnis di satu lokasi pusat untuk menyederhanakan pemantauan, peringatan, dan troubleshooting terpadu.

• Audit keamanan dan kepatuhan: Kumpulkan semua log operasi dan log keamanan ke dalam akun keamanan atau audit khusus guna memenuhi persyaratan kepatuhan.

• Migrasi bisnis: Alihkan tugas pengumpulan log ke akun baru selama migrasi bisnis dari satu akun Alibaba Cloud ke akun lainnya.

Topik ini menggunakan contoh migrasi tugas pengumpulan log dari akun sumber ke akun tujuan.

Arsitektur solusi

Solusi ini menggunakan model kepercayaan berbasis otorisasi file. Anda dapat membuat file otorisasi dan pengenal kustom tertentu pada instans ECS di akun sumber, sehingga memberikan izin kepada akun tujuan untuk mengumpulkan log dari instans tersebut menggunakan Logtail.

Alur kerjanya sebagai berikut:

1. Pada setiap instans ECS di akun sumber (Akun B), buat file otorisasi dengan nama yang sesuai UID akun tujuan (Akun A).

2. Pada instans ECS yang sama, buat file yang berisi pengenal kustom untuk mengelompokkan server di akun tujuan.

3. Setelah klien Logtail pada instans ECS mengenali file otorisasi, ia mengirim heartbeat ke Simple Log Service di akun tujuan (Akun A) dan melaporkan pengenal kustomnya.

4. Di Konsol Simple Log Service akun tujuan (Akun A), buat kelompok mesin yang menggunakan pengenal kustom tersebut. Instans ECS dengan heartbeat normal secara otomatis ditambahkan ke kelompok mesin tersebut.

5. Terapkan konfigurasi pengumpulan Logtail ke kelompok mesin tersebut. Logtail kemudian mengumpulkan log berdasarkan konfigurasi dan mengirimkannya ke penyimpanan log di akun tujuan (Akun A).

Prosedur

#!/bin/bash

# Ganti dengan ID akun Alibaba Cloud 16 digit dari akun tujuan (Akun A).
TARGET_ACCOUNT_ID="{TARGET_ACCOUNT_ID}"

# Tentukan pengenal unik untuk kelompok mesin ini.
# Gunakan kombinasi nama bisnis dan lingkungan, misalnya "my-app-prod-servers".
MACHINE_GROUP_ID="{YOUR_MACHINE_GROUP_ID}"

# 1. Buat direktori file otorisasi.
sudo mkdir -p /etc/ilogtail/users

# 2. Buat file otorisasi. Nama file adalah ID akun tujuan. Ini memberikan izin pengumpulan kepada akun tersebut.
sudo touch "/etc/ilogtail/users/${TARGET_ACCOUNT_ID}"

# 3. Buat file pengenal kustom. File ini digunakan untuk mengidentifikasi dan mengelompokkan mesin di akun tujuan.
echo "${MACHINE_GROUP_ID}" | sudo tee /etc/ilogtail/user_defined_id > /dev/null

# 4. Restart layanan Logtail untuk menerapkan konfigurasi.
# Jika sistem Anda tidak menggunakan systemd, jalankan 'sudo /etc/init.d/ilogtaild restart'.
sudo systemctl restart ilogtail

echo "Konfigurasi selesai. Periksa status heartbeat kelompok mesin di Konsol Simple Log Service akun tujuan."

Langkah 1: Buat file identitas pengguna

1. Login ke server ECS yang dimiliki oleh akun Alibaba Cloud B.

   Penting

   Anda harus membuat file identitas pengguna pada setiap server ECS di kluster ECS B.

2. Jalankan perintah berikut untuk membuat file identitas pengguna.

   Tetapkan identitas pengguna ke akun Alibaba Cloud A. Hal ini membuat file yang dinamai sesuai ID akun Alibaba Cloud A. Untuk informasi selengkapnya, lihat Konfigurasikan identitas pengguna.

   touch /etc/ilogtail/users/12****456

Langkah 2: Buat kelompok mesin berbasis pengenal kustom

1. Buat file pengenal kustom untuk kelompok mesin pada server ECS.

   Penting

   Anda harus membuat file pengenal kustom untuk kelompok mesin pada setiap server ECS di kluster ECS B.

   1. Login ke server ECS yang dimiliki oleh akun Alibaba Cloud B.

   2. Di direktori yang ditentukan, buat file /etc/ilogtail/user_defined_id dan tambahkan pengenal kustom.

      Sebagai contoh, untuk menetapkan pengenal kustom menjadi application_b, masukkan application_b ke dalam file dan simpan. Untuk informasi selengkapnya tentang path file, lihat Buat kelompok mesin berbasis pengenal kustom.

2. Buat kelompok mesin di Konsol Simple Log Service.

   1. Menggunakan akun Alibaba Cloud A, login ke Konsol Simple Log Service.

   2. Di area Project List, klik proyek tujuan.

   3. Di panel navigasi, pilih Resource > Machine Group.

   4. Di sebelah kanan Machine Group, klik > Create Machine Group.

   5. Pada dialog Create Machine Group, konfigurasikan parameter berikut dan klik OK.

      Tetapkan Custom Identifier ke pengenal kustom yang Anda konfigurasi pada langkah 1. Untuk informasi selengkapnya tentang parameter lainnya, lihat Buat kelompok mesin berbasis pengenal kustom.

3. Verifikasi bahwa status heartbeat server di kelompok mesin adalah OK.

   1. Di daftar kelompok mesin, klik kelompok mesin tujuan.

   2. Pada halaman Machine Group Configuration, lihat server ECS yang menggunakan pengenal kustom yang sama dan status heartbeat-nya.

      Status Heartbeat OK menunjukkan bahwa server ECS terhubung ke Simple Log Service. Jika statusnya FAIL, lihat Kelompok mesin Logtail tidak memiliki heartbeat.

Langkah 3: Kumpulkan log

1. Login ke Konsol Simple Log Service dengan akun Alibaba Cloud A.

2. Klik Quick Integration.

   

3. Pada dialog Integrate Data, pilih Regex - Text Log.

4. Pada wizard Integrate Data, pilih proyek dan Logstore tujuan, lalu klik Next.

5. Konfigurasikan Machine Group Settings.

   1. Tetapkan Scenario ke Host Scenario.

   2. Tetapkan Installation Environment ke ECS.

   3. Pilih kelompok mesin yang Anda buat di Langkah 2. Pindahkan kelompok mesin dari Source Machine Groups ke Applied Machine Groups, lalu klik Next.

6. Buat konfigurasi pengumpulan Logtail dan klik Next.

   Untuk informasi selengkapnya tentang parameter, lihat Kumpulkan log dalam mode regex penuh.

   Penting

   • Secara default, hanya satu konfigurasi pengumpulan Logtail yang dapat mencocokkan suatu file. Karena konfigurasi pengumpulan untuk akun B masih aktif, konfigurasi baru untuk akun A tidak dapat berlaku. Anda dapat menggunakan salah satu metode berikut untuk mengaktifkan konfigurasi untuk akun A:

     • Hentikan pengumpulan log untuk akun B. Untuk melakukannya, login ke Konsol Simple Log Service dengan akun B dan hapus konfigurasi pengumpulan Logtail dari kelompok mesin tujuan. Untuk informasi selengkapnya, lihat Terapkan konfigurasi Logtail ke kelompok mesin tertentu.

     • Tambahkan konfigurasi pengumpulan paksa untuk akun A. Untuk informasi selengkapnya, lihat Cara mengumpulkan log dari file beberapa kali.

   • Setelah membuat konfigurasi pengumpulan Logtail, hapus konfigurasi asli untuk akun Alibaba Cloud B untuk mencegah pengumpulan log duplikat. Untuk informasi selengkapnya, lihat Hapus konfigurasi Logtail.

   

7. Pratinjau data, konfigurasikan indeks, lalu klik Next.

   Simple Log Service mengaktifkan fitur indeks teks penuh secara default. Anda juga dapat mengonfigurasi indeks bidang secara manual atau otomatis berdasarkan log yang dikumpulkan. Untuk informasi selengkapnya, lihat Buat indeks.

Operasi terkait