Cara mengumpulkan log server lintas akun Alibaba Cloud menggunakan Logtail - Simple Log Service

Topik ini menjelaskan cara mengumpulkan log lintas akun dari instance Elastic Compute Service (ECS). Solusi ini melibatkan otorisasi Logtail di akun tujuan untuk mengumpulkan log dari instance ECS di akun sumber guna dikelola dan dianalisis secara terpusat.

Informasi latar belakang

Untuk mengotorisasi Logtail mengumpulkan log, identitas penggunanya harus dikonfigurasi dengan ID akun Alibaba Cloud yang memiliki Proyek SLS target. Jika identitas ini tidak diatur, Logtail tidak dapat membuat koneksi, sehingga menyebabkan kegagalan heartbeat pada kelompok mesin dan menghentikan seluruh proses pengumpulan log.

Sebagai contoh, sebuah perusahaan e-commerce menjalankan dua aplikasi pada kluster ECS di Wilayah Alibaba Cloud China (Hangzhou). Perusahaan tersebut menggunakan SLS di wilayah yang sama untuk mengelola log.

Aplikasi A dideploy pada kluster ECS Linux di bawah akun Alibaba Cloud A (UID: 12****456) dan menggunakan SLS dari akun tersebut untuk manajemen log.
Aplikasi B dideploy pada kluster ECS Linux di bawah akun Alibaba Cloud B (UID: 17****397) dan menggunakan SLS dari akun tersebut untuk manajemen log.

Untuk memenuhi kebutuhan bisnis baru, perusahaan perlu memusatkan log dari kedua aplikasi tersebut ke dalam proyek Simple Log Service di bawah akun Alibaba Cloud A (12****456). Log dari masing-masing aplikasi akan dikumpulkan ke logstore yang berbeda dalam proyek yang sama. Oleh karena itu, Anda perlu membuat konfigurasi pengumpulan Logtail baru, kelompok mesin, dan logstore untuk log Aplikasi B. Pengumpulan log untuk Aplikasi A tidak terpengaruh dan tetap menggunakan konfigurasi pengumpulan, kelompok mesin, dan logstore aslinya.

架构图

Langkah 1: Buat file identitas pengguna

Login ke server ECS yang termasuk dalam akun Alibaba Cloud B.
Penting
Anda harus membuat file identitas pengguna pada setiap server ECS di kluster ECS B.
Jalankan perintah berikut untuk membuat file identitas pengguna.
Atur identitas pengguna ke akun Alibaba Cloud A. Hal ini akan membuat file dengan nama sesuai ID akun Alibaba Cloud A. Untuk informasi lebih lanjut, lihat Konfigurasikan identitas pengguna.
```
touch /etc/ilogtail/users/12****456
```

Langkah 2: Buat kelompok mesin berbasis pengenal kustom

Buat file pengenal kustom untuk kelompok mesin di server ECS.
Penting
Anda harus membuat file pengenal kustom untuk kelompok mesin pada setiap server ECS di kluster ECS B.
1. Login ke server ECS yang termasuk dalam akun Alibaba Cloud B.
2. Di direktori yang ditentukan, buat file /etc/ilogtail/user_defined_id dan tambahkan pengenal kustom.
  Sebagai contoh, untuk mengatur pengenal kustom menjadi application_b, masukkan application_b ke dalam file tersebut dan simpan. Untuk informasi lebih lanjut mengenai path file, lihat Buat kelompok mesin berbasis pengenal kustom.
Buat kelompok mesin di konsol SLS.
1. Login ke Konsol Simple Log Service dengan akun Alibaba Cloud A.
2. Di area Daftar Proyek, klik proyek tujuan.
3. Di panel navigasi sebelah kiri, pilih Resources > Machine Groups.
4. Di sebelah kanan Machine Groups, klik > Create Machine Group.
5. Di kotak dialog Create Machine Group, konfigurasi parameter lalu klik OK.
  Atur Custom Identifier ke nilai yang telah Anda konfigurasi di Langkah 1. Untuk informasi lebih lanjut mengenai parameter lainnya, lihat Buat kelompok mesin dengan pengenal kustom. Atur Name menjadi group-b, pilih Custom Identifier untuk Machine Group Identifier, dan masukkan application_b untuk Custom Identifier.
Verifikasi bahwa status heartbeat server di kelompok mesin adalah OK.
1. Di daftar kelompok mesin, klik kelompok mesin tujuan.
2. Di halaman Machine Group Configurations, lihat instance ECS yang menggunakan pengenal kustom yang sama dan periksa status heartbeat-nya.
  Status Heartbeat bernilai OK menunjukkan bahwa instance ECS telah terhubung ke Simple Log Service. Jika statusnya FAIL, lihat Troubleshoot Logtail machine group heartbeats. Pastikan status heartbeat keempat mesin di kelompok mesin adalah OK. Hal ini menunjukkan bahwa semua mesin berhasil terhubung ke Simple Log Service.

Langkah 3: Kumpulkan log

Login ke Konsol Simple Log Service dengan akun Alibaba Cloud A.
Klik Quick Start.
Bagian Integrate Data berada di pojok kanan bawah halaman utama Konsol Simple Log Service dan berisi tombol Import Data.
Di kotak dialog Quick Data Import, pilih Regex - Text Log.
Di wizard Import Data, pilih proyek dan logstore tujuan, lalu klik Next.
Konfigurasikan Machine Group Configurations.
1. Atur Scenario menjadi Servers.
2. Atur Installation Environment menjadi ECS.
3. Pilih kelompok mesin yang telah Anda buat di Langkah 2. Pindahkan kelompok mesin dari Source Machine Group ke Applied Machine Group, lalu klik Next.
Buat konfigurasi pengumpulan Logtail lalu klik Next.
Untuk informasi lebih lanjut mengenai parameter, lihat Kumpulkan log dalam mode regex penuh.
Penting
- Secara default, hanya satu konfigurasi pengumpulan Logtail yang dapat mencocokkan suatu file. Karena konfigurasi pengumpulan untuk akun B masih aktif, konfigurasi baru untuk akun A tidak dapat berlaku. Anda dapat menggunakan salah satu metode berikut untuk mengaktifkan konfigurasi untuk akun A:
  Hentikan pengumpulan log untuk akun B. Untuk melakukannya, login ke konsol SLS dengan akun B dan hapus konfigurasi pengumpulan Logtail dari kelompok mesin tujuan. Untuk informasi lebih lanjut, lihat Terapkan konfigurasi Logtail ke kelompok mesin tertentu.
  Tambahkan konfigurasi pengumpulan paksa untuk akun A. Untuk informasi lebih lanjut, lihat Cara mengumpulkan log dari file beberapa kali.
- Setelah membuat konfigurasi pengumpulan Logtail, hapus konfigurasi asli untuk akun Alibaba Cloud B agar tidak terjadi duplikasi pengumpulan log. Untuk informasi lebih lanjut, lihat Hapus konfigurasi Logtail.
Di formulir konfigurasi pengumpulan Logtail, atur Config Name menjadi application_b, atur Log Path menjadi /tmp/**/*.log, pilih Full Regex Mode untuk Mode, dan aktifkan Single Line.
Pratinjau data, konfigurasi indeks, lalu klik Next.
SLS mengaktifkan fitur indeks teks penuh secara default. Anda juga dapat mengonfigurasi indeks bidang secara manual atau otomatis berdasarkan log yang dikumpulkan. Untuk informasi lebih lanjut, lihat Buat indeks.

Operasi terkait

Jika Anda perlu memigrasikan data historis dari akun Alibaba Cloud B ke logstore saat ini, Anda dapat membuat pekerjaan transformasi data di logstore asli untuk menyalin data tersebut ke logstore saat ini. Untuk informasi lebih lanjut, lihat Salin data logstore.

Penting

Saat memproses data lintas akun, Anda harus menggunakan role kustom untuk otorisasi. Contoh ini menggunakan role kustom.

Role ARN pertama memungkinkan pekerjaan transformasi data mengasumsikan role ini dan membaca data dari logstore sumber. Untuk informasi lebih lanjut mengenai cara mengonfigurasi izin role, lihat Berikan akses read-only Peran RAM ke logstore sumber.
Role ARN kedua memungkinkan pekerjaan transformasi data mengasumsikan role ini dan menulis data hasil transformasi ke logstore tujuan. Untuk informasi lebih lanjut mengenai cara mengonfigurasi izin role, lihat Berikan izin Peran RAM untuk menulis data ke logstore tujuan (cross-account).