Kumpulkan log kontainer Kubernetes lintas akun Alibaba Cloud menggunakan Logtail - Simple Log Service

Kumpulkan log kontainer dari kluster Container Service for Kubernetes (ACK) yang dimiliki oleh akun Alibaba Cloud berbeda dan pusatkan ke dalam satu proyek Simple Log Service.

Latar Belakang

Sebuah perusahaan e-commerce menjalankan dua aplikasi pada kluster Kubernetes di wilayah China (Hangzhou) dan menggunakan Simple Log Service di wilayah yang sama untuk mengelola log-nya.

Aplikasi A dideploy pada kluster Kubernetes yang dimiliki oleh Akun Alibaba Cloud A (12****456). Simple Log Service di bawah akun yang sama mengelola log untuk aplikasi ini.
Aplikasi B dideploy pada kluster Kubernetes yang dimiliki oleh Akun Alibaba Cloud B (17****397). Simple Log Service di bawah akun yang sama mengelola log untuk aplikasi ini.

Karena penyesuaian bisnis, perusahaan berencana memusatkan log dari kedua aplikasi ke dalam proyek Simple Log Service di bawah Akun Alibaba Cloud A (12****456), dengan log masing-masing aplikasi dikumpulkan ke dalam Logstore terpisah. Untuk melakukannya, Anda membuat konfigurasi koleksi Logtail baru, kelompok mesin, dan Logstore untuk Aplikasi B. Pengaturan koleksi log yang ada untuk Aplikasi A tetap tidak berubah. 架构图

Langkah 1: Tetapkan pengenal akun Alibaba Cloud

Komponen loongcollector

Tetapkan pengenal pengguna ke Akun Alibaba Cloud A.
1. Masuk ke Konsol ACK menggunakan Akun Alibaba Cloud B.
2. Pada halaman Clusters, klik nama kluster target.
3. Di bilah navigasi kiri, pilih Apply > Helm.
4. Pada halaman Helm, pilih namespace kube-system, lalu klik Update di kolom Actions aplikasi loongcollector.
5. Pada kotak dialog Update Release, di bagian Target Helm Chart Values Configuration:
  - Konfigurasikan aliUid dengan ID akun Alibaba Cloud. Gunakan koma (,) untuk memisahkan beberapa ID akun, misalnya, 17****397,12****456.
  - Catat nilai baseMachineGroupName. Ini adalah pengenal kustom untuk kelompok mesin. Saat membuat kelompok mesin di Simple Log Service, atur parameter Custom Identifier ke nilai ini, misalnya, k8s-group-cc47****54428. Perhatikan bahwa field accessKeyID, accessKeySecret, dan clusterAgent juga merupakan parameter yang diperlukan di bagian ini.
6. Pilih kotak centang I acknowledge that the current parameters will be completely overwritten during the update and I understand the related risks outlined in the "Disclaimer", lalu klik OK.
Di bilah navigasi kiri, klik Workloads > DaemonSets. Di namespace kube-system, klik loongcollector-ds untuk membuka halaman detailnya. Pastikan setiap pod berstatus Running dan dibuat setelah pembaruan konfigurasi.

Komponen logtail-ds

Tetapkan pengenal pengguna ke Akun Alibaba Cloud A.
1. Masuk ke Konsol ACK menggunakan Akun Alibaba Cloud B.
2. Pada halaman Clusters, klik kluster target.
3. Di bilah navigasi kiri, pilih Configurations > ConfigMaps.
4. Atur Namespace ke kube-system, lalu di daftar ConfigMap, temukan alibaba-log-configuration dan klik Edit.
5. Di panel Edit, lakukan langkah-langkah berikut, lalu klik OK.
  
  Tambahkan ID Akun Alibaba Cloud A ke ConfigMap log-ali-uid, dan catat nilai ConfigMap log-machine-group (misalnya, k8s-group-cc47****54428) untuk digunakan sebagai Custom Identifier saat Anda membuat kelompok mesin.
  
  Pisahkan beberapa ID akun dengan koma (,). Contoh: 17****397,12****456.
Restart logtail-ds untuk menerapkan konfigurasi.

Pada halaman detail logtail-ds, pastikan setiap pod berstatus Running dan dibuat setelah pembaruan konfigurasi.

Langkah 2: Buat kelompok mesin

Login ke Konsol Simple Log Service dengan Akun Alibaba Cloud A.
Di bagian Projects, klik Proyek target.
Di bilah navigasi kiri, pilih Resources > Machine Groups.
Di sebelah kanan Machine Groups, klik > Create Machine Group.
Pada kotak dialog Create Machine Group, konfigurasikan parameter berikut, lalu klik OK.

Custom Identifier harus diatur ke pengenal kelompok mesin yang Anda peroleh di Langkah 1: Tetapkan akun Alibaba Cloud sebagai pengenal pengguna, misalnya, k8s-group-cc47****54428. Untuk informasi lebih lanjut tentang parameter lainnya, lihat Buat kelompok mesin dengan pengenal kustom. Atur Name menjadi k8s-group, pilih Custom Identifier untuk Machine Group Identifier, lalu masukkan nilai pengenal kustom, seperti k8s-group-cc{Instance ID}, di kotak teks Custom Identifier.
Periksa apakah status heartbeat semua server di kelompok mesin adalah OK.
1. Di daftar kelompok mesin, klik kelompok mesin target.
2. Pada halaman Machine Group Configurations, lihat status heartbeat node kontainer (ECS).
  
  Status Heartbeat bernilai OK menunjukkan bahwa node kontainer terhubung ke Simple Log Service. Jika statusnya FAIL, lihat Kelompok mesin Logtail tidak memiliki heartbeat. Kelompok mesin siap digunakan ketika semua node menampilkan status OK.

Langkah 3: Buat konfigurasi koleksi Logtail

Login ke Konsol Simple Log Service dengan Akun Alibaba Cloud A.
Di area Data Collection, klik Kubernetes - File.
Pilih Proyek dan LogStore target, lalu klik Next.
Klik Use Existing Machine Groups.
Pilih kelompok mesin yang Anda buat di Langkah 2: Buat kelompok mesin, pindahkan dari Source Machine Group ke Applied Machine Group, lalu klik Next.
Atur konfigurasi koleksi Logtail, lalu klik Next.
Untuk informasi lebih lanjut tentang parameter tersebut, lihat Kumpulkan log teks kontainer dalam mode DaemonSet menggunakan konsol.
Penting
- Secara default, hanya satu konfigurasi koleksi Logtail yang dapat mencocokkan satu file. Karena konfigurasi koleksi untuk akun B masih aktif, konfigurasi baru untuk akun A tidak dapat berlaku. Anda dapat menggunakan salah satu metode berikut untuk mengaktifkan konfigurasi untuk akun A:
  Hentikan koleksi log untuk akun B. Untuk melakukannya, login ke konsol SLS dengan akun B dan hapus konfigurasi koleksi Logtail dari kelompok mesin tujuan. Untuk informasi lebih lanjut, lihat Terapkan konfigurasi Logtail ke kelompok mesin tertentu.
  Tambahkan konfigurasi koleksi paksa untuk akun A. Untuk informasi lebih lanjut, lihat Cara mengumpulkan log dari satu file beberapa kali.
- Setelah membuat konfigurasi koleksi Logtail, hapus konfigurasi asli untuk Akun Alibaba Cloud B agar tidak terjadi duplikasi koleksi log. Untuk informasi lebih lanjut, lihat Hapus konfigurasi Logtail.
Pratinjau data, atur indeks, lalu klik Next.

Secara default, Simple Log Service mengaktifkan indeks teks penuh. Anda juga dapat membuat indeks bidang secara manual atau otomatis berdasarkan log yang dikumpulkan. Untuk informasi lebih lanjut, lihat Buat indeks.

Operasi Terkait

Jika Anda perlu memigrasikan data historis dari Akun Alibaba Cloud B ke Logstore saat ini, buat pekerjaan transformasi data di Logstore sumber untuk menyalin data tersebut. Untuk informasi lebih lanjut, lihat Replikasi data dari LogStore.

Penting

Saat melakukan transformasi data lintas akun, Anda harus menggunakan role kustom untuk otorisasi.

Role ARN pertama memberikan akses baca kepada pekerjaan transformasi data terhadap Logstore sumber. Untuk informasi lebih lanjut, lihat Berikan peran RAM akses read-only ke LogStore sumber.
Role ARN kedua memberikan akses tulis kepada pekerjaan transformasi data terhadap Logstore target. Untuk informasi lebih lanjut, lihat Berikan peran RAM izin untuk menulis data ke LogStore target (cross-account).